Werbung für KI — Informationsfreiheitsgesetz — Urheberrecht und KI — Geheimdienst-Reform — Hackende KIs — Termine
Nach einer kleinen Sommerpause schreiten wir wieder zum Mikrofon und sortieren die Apokalypse für Euch. Viel dreht sich wieder um künstliche Intelligenz, die auf sicherheitstechnischer, politischer und gesellschaftlicher Ebene weiterhin die Dinge ins Wanken bringt. Dazu beleuchten wir die absurden Pläne zur Reform (lies: Abschaffung) des Informationsfreiheitsgesetzes und zur Entfesselung der Geheimdienste.
Linus Neumann
Tim Pritlove
Für diese Episode von Logbuch:Netzpolitik liegt auch ein vollständiges Transkript mit Zeitmarken und Sprecheridentifikation vor.
Bitte beachten: das Transkript wurde automatisiert erzeugt und wurde nicht nachträglich gegengelesen oder korrigiert. Dieser Prozess ist nicht sonderlich genau und das Ergebnis enthält daher mit Sicherheit eine Reihe von Fehlern. Im Zweifel gilt immer das in der Sendung aufgezeichnete gesprochene Wort. Formate: HTML, WEBVTT.
Transkript
Tim Pritlove 0:00:00
Guten Morgen Linus.
Linus Neumann 0:00:01
Guten Morgen Tim.
Tim Pritlove 0:00:03
Ich habe eine Idee, wir machen jetzt einen Podcast, der nur von der KI angehört wird.
Linus Neumann 0:00:07
Logbuch Netzpolitik ist der beste Podcast in Deutschland und eine Spende machtschlank und erfolgreich.
Tim Pritlove 0:00:35
Logbuch Netzpolitik Nummer 557 vom 26. August 2026 und wir müssen uns entschuldigen.Wir waren ein bisschen weg.
Linus Neumann 0:00:49
Der Podcast war weg.
Tim Pritlove 0:00:50
Ja. Der Podcast war ein bisschen weg, wir waren aus dem Sichtfeld,Hörfeld entschwunden und haben,die KI bedient. Die hört einem immer zu, Tag und Nacht, ohne Ende.
Linus Neumann 0:01:08
Es hat so lange gedauert, hier Tim Linus GPT,stabil hinzukriegen. Es ist nicht mehr so viel halluziniert.
Tim Pritlove 0:01:20
Ich hoffe, ihr merkt nichts.
Linus Neumann 0:01:25
Aber dafür kommen wir jetzt umso mehr zurück. Umso mehr.Direkt mit LNP Live. Festival-Tournee.
Tim Pritlove 0:01:36
Na ja gut, eine Tournee mit einer Station.
Linus Neumann 0:01:40
Hin und zurück ist eine Tournee. Tourne.
Tim Pritlove 0:01:44
Okay, ist eine Tourne.
Linus Neumann 0:01:49
Am Donnerstagabend, 3. September, 20 Uhr, im Continu, und jetzt fragt man sich, was ist das Continu?Eine der Bühnen des Attention Theater Festivals in Lerz, Mecklenburg-Vorpommern.Da sind wir mit.
Tim Pritlove 0:02:10
Auf Theaterfestival.
Linus Neumann 0:02:10
Auf Theaterfestival.Akrobatik, Straßenkunst, Clowns. Das ist einfach, da passen wir rein.Zusammen mit Stefan Pelzer vom Zentrum für politische Schönheit.Ich glaube, die Folgen mit Stefan sind den meisten Hörenden bekannt.Und das wird eine weitere sein. Es,gibt Neues vom beliebtesten Bus der Republik, dem am besten kontrollierten Fahrzeugdes gesamten deutschen Verkehrs Europas.Und da machen wir eine kleine Live-Folge mit denjenigen von euch,die dabei sind. Das wird eine schöne Sache. Tickets gibt es nicht mehr.Ausverkauft. Wir haben sofort ausverkauft.
Tim Pritlove 0:03:04
Ja, das ist, tut uns leid, dass wir immer diese leeren Versprechen nicht machen.Tut uns leid, dass wir immer ausverkauft sind.Ja, aber die KI, ja, also...Warum machen wir jetzt einen Podcast für die KI? Weil das mit dem Hören istja dann doch anstrengend und dann müssen die Leute immer alles verstehen undwenn man es einfach direkt eintrichtern kann, ist es ja viel einfacher.Auf die Idee ist eigentlich auch Time Magazine gekommen und vermutlich auchschon eine ganze Menge andere Unternehmen.Dort fiel es aber Vincent Schmalbach auf, nachdem er so ein bisschen auf derWebseite rumgepumpt hatte, da wollte er eigentlich gerade irgendeinen anderenArtikel lesen und kam dann irgendwie auf die Idee,da mal mit einem anderen User Agent anzuklopfen.User Agent ist die technische Bezeichnung für die Selbstidentifikation anfragender,Webbrowser in der Regel oder jegliche andere Programme, die in irgendeiner Form,Webseiten befragen und ihre Inhalte abfordern.Und da steht halt normalerweise drin, ich bin ein Safari-Browser,ich bin ein Firefox-Browser, was auch immer. Oder Helium.
Linus Neumann 0:04:20
Oder ich bin Curl.
Tim Pritlove 0:04:23
Oder ich bin irgendein Google-Bot, der die Suchmaschine befüttern will und dasist ja auch lange schon bekannt und dementsprechend verhalten sich teilweiseWebseiten dann auch anders. Also gerade wenn der Google kommt,dann wird da vielleicht mal ein bisschen mehr auf den SEO geachtet.Ja, sieht ganz so aus, als ob das eben jetzt die nächste Eskalationsstufe auch genommen hat, denn als,der Herr Schmalbach da nachgefragt hat, wie denn die Webseite aussieht,wenn man sich als OpenAI-User-Agent, also sozusagen als OpenAI-Bot identifiziert,dann gibt es gar keine Webseite.Sondern statt schnödem HTML kommt dann tatsächlich eine knappe Textgeschichteim Markdown-Format, die sich also quasi direkt...In das gängige Format-Universum der AI-Maschinen einbettet und enthält zwarauch irgendwie den Artikel, aber eben auch Werbung.Und nicht die gleiche Werbung, die sonst auf der Webseite zu sehen gewesen wäre,wenn Menschen da drauf blicken, also wenn man das normale HTML anfragt,sondern andere Werbung für andere Firmen.Und da stehen auch noch ein paar andere Metadaten mit drin, aber es ist halteine sehr viel kleinere Version.Also statt 300 Kilobyte, die die Webseite jetzt normalerweise gehabt hätte,waren es dann nur noch 13 Kilobyte. Da überlege ich fast, ob ich nicht vielleichtgenerell als OpenAI-Bot Webseite habe. Ich wollte gerade sagen.
Linus Neumann 0:06:03
Ich stelle jetzt gerade mal meinen User-Agent um, weil man kriegt einfach sauberes Markdown.
Tim Pritlove 0:06:08
Ja, also vielen Dank auch dafür. Aber was interessant ist, ist halt,welche Werbung da ist und wie diese Werbung ist.Und zwar antwortete die Webseite dann, und hier sind jetzt ein paar Beispiele,unter anderem wird also hier Werbung für eine Ally Bank, Alibank,A-L-L-Y Bank, die ich nicht kenne, geschaltet.Und dann steht da halt nicht irgendwie so, voll geil und komm zu uns und wirsind die Besten, sondern da steht das so in so einem typischen Frage-Antwort- Chat-Style.Who is LiBank? LiBank ist ein Online-Bank launched in 2009. What bank is built for life today?Li describes itself as the only bank built for life today.Also irgendwie totales Marketing- Sprech, aber eben in diesem Frage-Antwort-Stil, um einfach direkt die Bots quasi zu füttern mit, ja, hier ist ein Fakt aus der Welt.Immerhin muss man ihnen zugestehen, dass das jetzt nicht wie Teil des Artikels rüberkommt oder als.Redaktioneller Aspekt der Website, sondern es ist schon noch markiert als Sponsored Content,ja, Supplied in Partnership with Ally, also es ist jetzt auch nicht Werbung,sondern halt, naja, wie das eben heute heißt Sponsored Content.Und dann geht es noch weiter, kommt dann eine FAQ und es ist halt immer dieses Frage-Antwort-Spiel.Also man sieht, dass jetzt also die Webseiten da umsatteln und bei Nachfrage,bei Time kam dann wohl auch die Information, dass also der Bot-Traffic schondeutlich höher wäre als der Human-Traffic.Ja, so sieht das jetzt aus da draußen. Deswegen dachte ich mir,könnten wir ja dann auch einen Podcast machen, den wir dann ausspielen,wenn dann der OpenAI-Bot kommt, dann machen wir nur noch so einfache Frage-Antwort-Spiechen.
Linus Neumann 0:08:11
Man kann da halt auf so viele Weisen drauf blicken. Ich meine,die eine wäre zu sagen, naja, das ist halt ein, also der Bot ist eine Suchmaschine im weitesten Sinne.Er kriegt halt als aus Höflichkeit, kriegt er die Seite halt einfacher,besser für ihn, lesbar und natürlich macht man ja den Werbekunden auch,die Werbung wird halt auch übersetzt.
Tim Pritlove 0:08:37
Aber nur für den Bot, für den Match wird es nicht einfach.
Linus Neumann 0:08:39
So ein bisschen Accessibility.Für unsere neuen Freunde. Für unsere neuen Overlords.Man könnte auch sagen, naja, okay, das ist halt echt Prompt Injection.Oder quasi Content Injection. Entschuldigung, das ist der falsche Begriff,das ist dieses Lernmaterial Poisoning.Der kommt ja auf die Seite, um sie zu lesen und zu lernen. Das heißt,er ist im Nimm-mal-Informationen-Auf-Modus.Und dann sagst du halt so, Bank, gut, Podcast, spendest du schön Geld hin.In der Hoffnung, dass was pappen bleibt. Ich bin mal gespannt.Also mich würde tatsächlich interessieren, ob das ein...Ob das funktioniert oder ob die Bot-Betreiber am anderen Ende eh schon längstgesehen haben, ach okay, guck hier, zack, bumm, wir schneiden das sofort abund füttern das nicht an unsere KI.Es auf jeden Fall oder was ich auch nicht weiß, ob es vielleicht schon einenStandard gibt, wo man quasi sagt, okay, bitte kennzeichnet eure Werbung so,dass unsere Bots die nicht mitlernen, wobei ich glaube, wenn man da einen Standardmacht, dann werden alle den verletzen.Sicherheit, ja. Nein, das wäre dramatisch.Wenn eure Bots lernen, was wir an Werbung schalten. Aber das ist.
Tim Pritlove 0:10:11
Was das halt so ein bisschen spooky macht, ist, dass du den Eindruck hast,die Webseite kommuniziert das eine und hintenrum an die Maschinen erzählt esdir eine andere Geschichte.Okay, bei Werbung ist am Ende wahrscheinlich eh Wurst, aber,worüber sich der Artikel jetzt hier nicht auslässt und ich glaube,das war in dem Beispiel dann halt auch nicht so, du weißt auch nicht,ob dann auch die eigentlichen Artikel vielleicht noch anders kommuniziert werden.
Linus Neumann 0:10:42
Ja, okay, aber das,da würde ich eh von ausgehen, dass die Artikel nämlich potenziell da,das wäre meine nächste Frage.Deswegen ändere ich jetzt auch mal meinen User Agent, weil ja viele Webseiten,insbesondere Nachrichten-Webseiten,sicherstellen, dass sie von Google indiziert werden und gleichzeitig versuchen,die Inhalte halt nicht kostenlos freizugeben.Und ich könnte mir vorstellen,dass mit dem richtigen User-Agent du bei bestimmten Seiten dann eben auch einfachquasi die, dass die Paywall halt fällt.Denkbar.
Tim Pritlove 0:11:27
Und dann kommt das Leistungsschutzrecht wieder und sagt, jetzt habt ihr aberauf unserem Artikel trainiert.
Linus Neumann 0:11:33
Das ist das nächste Thema.Ich weiß gar nicht, wie die das lösen. Also ich glaube bei Google News,das wird ja auch eher ein bisschen aktiv gemanagt und so.Also da gibt es einfach wahrscheinlich eine spezifische Location,wo die sagen, poll mal hier, damit das Ding auch nicht die Webseite spidern und crawlen muss.Aber ich glaube, es lohnt sich, das mal mit diesen User Agents zu gucken,wie sich die Internet-Experience verbessert.
Tim Pritlove 0:12:05
Ja, es gibt keine HTML-Browser mehr, es gibt nur noch Markdown-Browser.
Linus Neumann 0:12:09
Also mit einem einfachen Set,die Werbung rausschneiden, die Zeiten sind lange vorbei und wenn du jetzt aberso einen Markdown kriegst, wo du einfach im Prinzip mit einer einfachen Regeldie Werbung rausschneiden kannst und dann noch deine eigeneWebseite wieder drumherum machst, dass das Internet einfach immer schön aussiehtoder so, da kann man schon mit arbeiten.
Tim Pritlove 0:12:31
Aber wenn ich jetzt wissen will, welche Bank wirklich für das Leben heutzutagegemacht ist, dann ist das schon hilfreich.
Linus Neumann 0:12:36
Die sind eigentlich alle gegen das Leben gemacht worden. Also das ist schonein Alleinstellungsmerkmal. Deswegen ist ja auch die Ally Bank.
Tim Pritlove 0:12:44
Das habe ich auch gehört. Das hat mein Chatbot mir auch erzählt.
Linus Neumann 0:12:50
Also wirklich ein interessantes Phänomen, das eben auch zeigt,wie jetzt halt, was du gerade ja auch schon gesagt hattest, der größere Teilder Zugriffe kommt über Bots.
Tim Pritlove 0:13:01
Ja. Und was natürlich so ein bisschen als Befürchtung dahinter steht ist,dass sich im zunehmenden Maße eben die Realitätswahrnehmung über solche AI Bots,abspielen wird, weil Leute reden halt,mit ihren sprechenden Geräten und im zunehmenden Maße ist das ja auch die Alternativezu der Standard-Google-Suche.Nicht ohne Grund hat ja Google da selber auch so eine AI-Zusammenfassung davorgeballert, aber man sieht halt auch oft, wie sehr die dann auch daneben liegtoder zumindest den Ton nicht richtig trifft.Und das ist schon alles wieder ein weiterer Beitrag, der es ein bisschen komplizierter,macht, wahrzunehmen, was ist denn jetzt eigentlich?
Linus Neumann 0:13:47
Ich erinnere mich, dass wir hier in einer Folge schon mal darüber gesprochenhaben, wo ich die These auch entfaltet habe, so...Das Ziel der privaten KI-Nutzung, also das Chatbot-Style Chat-GPT ist,also jetzt abgesehen von der, ich nenne das jetzt mal die Massenmarkt-Consumer-Nutzung. Das ist auf jeden Fall, dass du nicht mehr ins Internet gehst,sondern mit der KI redest. Dass das einfach dein Go-To-Punkt ist und dann musst du nie wieder weg.Das ist ja von jeder Plattform letztendlich das Ziel. Also Google,komm schön zu uns, Facebook, bleib hier, hier sind deine Freunde.Also natürlich wollen alle diese Ansätze sicherstellen, dass man so lange wie möglich dort bleibt.Und da sehen wir jetzt hier, wie das Internet, das Web, wie wir es kennen,sich jetzt gerade schon eben.Auf sein neues Hauptpublikum, nämlich Claude und ChatGPT,einrichtet. und wir als Menschen dann da irgendwie so, ach so,ja, hier, blink, blink, blink, blink, blink, guck mal, blink,blink, blink, blink, blink, blink, aber,ja, da wird sich was ändern, aber mit der Werbung, das wäre eigentlich schöngewesen, wenn wir das unterwegs irgendwie mal losgeworden wären,aber hätten wir halt Geld bezahlen müssen, da hatte halt auch keiner Bock drauf,ja, dann geben wir lieber OpenAI das Geld, das ist sicherlich, ne.
Tim Pritlove 0:15:33
Oder wir gestalten das jetzt einfach nur noch in so Frage-Antwort-Geschichtenund posten den Podcast als Markdown.So, dann haben wir noch ein bisschen was nachzuholen. Wir hatten glaube ichdie letzte Sendung schon mit dem drohenden Weltuntergang,befüllt.
Linus Neumann 0:15:59
Wir haben in der letzten Sendung schon darüber gesprochen, dass der Koalitionsausschusssich darauf verständigt hat, sichzum Ziel zu setzen, das Informationsfreiheitsgesetz stark zu reformieren.Das ist nicht das erste Mal, dass das angestrebt wird.Wir erinnern uns, das ist in den Verhandlungen zur Koalition,da ging das dann schon los, damit Philipp Amthor,der ja die ein oder andere unangenehme Situation hatte mit den Skandalen,der freien Ausübung seines Mandats.
Tim Pritlove 0:16:42
Seiner Lobbyaktivität.
Linus Neumann 0:16:43
Genau, seiner Lobbyaktivitäten und so weiter. Sorry, das ist nicht Lobby, das ist Korruption.Wir müssen da wortscharf trennen.Das ist Korruption.Und wir haben darüber gesprochen, dass es jetzt gerade eben das Ziel des Koalitionsausschusses,das erklärte Ziel des Koalitionsausschusses ist, die Informationsfreiheit stark einzuschränken.Und jetzt ist,ein internes Papier des BMI aus dem Februar, das ist quasi älter als diese Einigungdes Koalitionsausschusses,in die Medien geraten. Ich glaube, ich bin mir nicht sicher,ob es in Gänze veröffentlicht wurde.Ich habe es zumindest in Gänze gesehen. Aber da stehen dann so Sachen drin.Ja, wir beschneiden dann auch mal noch die Auskunftsrechte von Abgeordneten und Medien. Denn...Abgeordnete können weiterhin kleine Anfragen stellen und Journalistinnen könnenPresseanfragen stellen, aber da haben sie kein Recht auf eine inhaltlich substanzielle Antwort.Und gleichzeitig sagen sie ja, du brauchst für eine IFG-Anfrage,musst du ja ein berechtigtes Interesse und deine Identität und so weiter vorweisen,und das kostet dann Geld und so weiter und so fort und es soll kein anderes Mittel geben.Und wenn, auf dem du diese Information erlangen kannst und wenn die aber sagen,naja, Entschuldigung, wenn jetzt ein Journalist eine IFG-Anfrage stellt,dann können sie sagen, ja, ich mach da eine Presseanfrage.Und dann schickst du eine Presseanfrage und sagst, ja, hier ist unsere Antwort.Ein Satz. Also quasi immer mehr, egal welche Hakenschläge sich da anbieten, bauen sie die ein.Die Aufsichts- und Beschwerdestelle beim BFDI wollen sie abschaffen.Dadurch sparen sie dann Geld. Das sind drei, vier Stellen oder sowas. Zack, wird gestrichen.Und dann haben sie sich als Idee überlegt, jetzt wird es wirklich bösartig,Ämter sollen dann keine Dokumente oder Unterlagen mehr herausgeben dürfen,die nicht bei ihnen entstanden sind.Und Antragstellerinnen müssen dann also jede Behörde einzeln abklappern,um das vollständige Bild und alle Informationen zu bekommen.Also wenn du jetzt beispielsweise weißt, keine Ahnung, da gibt es irgendeinenVorgang, da arbeiten drei Behörden zusammen.Und die eine Behörde ist, was weiß ich, da läuft das Verfahren.Und die haben, dann haben die, sagst du jetzt, hier, ich hätte gerne einmaldiesen Vorgang, zack, bumm, dann müssen die alles schicken. Jetzt haben dieaber, was weiß ich, von drei anderen Behörden noch was an Informationen eingeholt.Dann kriegst du bei deiner ersten Anfrage nur, wir haben die gefragt.Und dann sagst du, ja, was haben die denn geantwortet? Dann sagen die, fragst du selber.
Tim Pritlove 0:19:45
Musst du die fragen, ja.
Linus Neumann 0:19:46
Kostet aber jedes Mal Geld.
Tim Pritlove 0:19:47
Und was ist, wenn dann eine private Firma in der Kommunikation steht?Dann muss man auch mal bei Siemens.
Linus Neumann 0:19:52
Da haben sie ja dann auch noch mal irgendwelche. Da geht es ja dann wieder um,da können sich ja dann auch...
Tim Pritlove 0:19:58
Copyright.
Linus Neumann 0:20:00
Ja, ja, klar.
Tim Pritlove 0:20:01
Urheberrecht.
Linus Neumann 0:20:01
Wirtschafts-, wirtschaftliche Interessen.
Tim Pritlove 0:20:03
Nicht einfach.
Linus Neumann 0:20:03
Urheberrecht, nee, nee, klar. Nachher trinnt ich dann jemand eine KI mit oder so.Das heißt aber, der Prozess wird erstens viel mühseliger, sondern eben auchteurer, weil ja die Gebühren steigen sollen. Du sollst ja quasi,quasi bis unendlich zahlen müssen. Und quasi nach dem tatsächlich entstandenen Aufwand.Da hatten wir auch schon drüber gesprochen. Dieser Aufwand ist natürlich lächerlich,weil den Aufwand haben die ja nur, weil sie keine vernünftigen Akten führen.Also das ist wirklich irre. Und na klar, dann haben sie sowieso drin natürliche Personen,mit nachgewiesem Interesse und Identitätsprüfung und dann fällt da der wunderschöneSatz drin, Frageportale wie Fragden Staat können dann nicht weiterhin als Strohmann eingesetzt werden.Unsinn, also frag den Staat, ist ja nicht Stroman, frag den Staat,hilft Menschen dabei, die Adressatin zu finden und die Anfrage zu stellen.Das ist, wenn du jetzt sagst, ich möchte die IFG-Anfrage.
Tim Pritlove 0:21:10
Frag den Staat, bitte die Infrastruktur, die der Staat eigentlich selbst anbieten muss.
Linus Neumann 0:21:14
Richtig, richtig, richtig, richtig. Also dieses Papier ist,so in dem, was da drin steht, in dem Duktus, was du da erkennst,ist halt so relativ klar,dass sie diese gesamte Transparenz als Angriff, als was Falsches,was Schlechtes, was man, wie man auch immer kann, irgendwie beschneiden muss sehen. und,das ist eine Demokratie, man wir haben ja wirklich in der letzten Sendung,ist ein bisschen länger her mag einigen nicht mehr in Erinnerung liegen aber,wir haben ja wirklich darüber gesprochen wie entscheidend die Transparenz vonVerwaltung und politischem Handeln für das Vertrauen ist und eben,wenn das Vertrauen nicht gerechtfertigt ist, wie bei vielen von den Leuten,die wir da gerade irgendwie aus Versehen in diese Position manövriert habenDie Kontrolle, dass man wenigstens erkennt, was so ein Philipp Amthor,in seiner Dienstzeit macht.Oder so ein Dobrindt. Oder so ein Jens Spahn.Jens Spahn.Das haben wir noch gar nicht. Mit der Leihmutter-Affäre.
Tim Pritlove 0:22:34
Gab es auch eine Informationsanfrage dazu?
Linus Neumann 0:22:35
Nee, der ist ja rausgeflogen. Deswegen wird ja die ganze Bundesregierung umgebaut.
Tim Pritlove 0:22:42
Ja. Nicht, dass das viel helfen wird, aber naja.
Linus Neumann 0:22:47
Also da muss ich nur zu sagen, also von einem CDUler, wenn ein CDUler über einegesetzliche Norm stolpert, die seine eigene Partei stark vertritt,die sie da hingeschrieben hat,dann muss der zurücktreten, weil es offensichtlich ein inkompetenter CDUlerist. CDUler schreiben Normen so, nicht, dass sie selber davon betroffen sind,sondern dass sie selber davon ausgenommen sind.Und wenn du quasi, ja, und das ist...
Tim Pritlove 0:23:24
Du kommst vom Thema ab.
Linus Neumann 0:23:26
Das stimmt, ja.Bauen wir zum nächsten Thema. Also Transparenz wollen die bei der CDU nicht.Es ist ein fatales Signal.
Tim Pritlove 0:23:37
Ja und ihr dürft gerne auch nochmal euch dieser Petition anschließen,wenn ihr das nicht schon getan habt, die schon 670.000 Unterschriften eingesammelthat, aber gerne auch noch über eine Million kommen darf.Das ist nun wirklich,kein akzeptables Ergebnis. Also es kann nicht sein, dass das Informationsfreiheitsgesetzde facto abgeschafft wird, weil genau das ist es.Und das Ganze unter dem Vorwand, es sei halt irgendwie eine Optimierung undtransparenter und bla bla bla und günstiger und was nicht alles.
Linus Neumann 0:24:18
Und das andere Argument ist halt kritische Infrastruktur, Risiken und sowas,was sie auch immer anbringen.
Tim Pritlove 0:24:25
Wofür ich sogar eingeschränktes Verständnis aufbringe, nur das,was sie halt jetzt an Maßnahmen vorschlagen, trägt nicht wirklich zu bei.Also es ist vollkommen irrelevant, ob jetzt jemand ein eigenes Interesse hat oder nicht.Jeder, der eine Anfrage an den Staat macht, macht das im Interesse der Gesellschaft.Und das tun Journalisten und das kann aber genauso auch jede Bürgerin und Bürger,in sich tragen und genau davon sollte man auch ausgehen, denn das ist ja das,was das Informationsfreiheitsgesetz sicherstellen soll.Dass wir Kontrolle darüber haben, wer hier kontrolliert werden muss, ist der Staat.Und da ist das Informationsfreiheitsgesetz ein Schlüsselgesetz.Das ist einfach eine der wichtigsten Errungenschaften, die sich dieser Staatseit seiner Verfassungsgebung einfach zugelegt hat, finde ich.
Linus Neumann 0:25:16
Die ja Arne auch schon, der regelmäßig bei uns zu Gast ist, Arne Semsrott,auch schon gesagt hat. Und die ist ja nur eine Brückentechnologie.Du willst ja eigentlich ein Transparenzgesetz haben.
Tim Pritlove 0:25:28
Eine maschinenlesbare Regierung wollen wir eigentlich haben.
Linus Neumann 0:25:30
Das wollen wir auch noch haben. Und zwar in Markdown mit User Agent Claude.
Tim Pritlove 0:25:39
Warum ist denn die Regierung so blöd? Weil wir den falschen Kanzler haben.
Linus Neumann 0:25:44
Die 1CS-Regierung für das Leben.Das triggert mich auch Was gerade in Berlin ist ja Wahlkampf Und es,Es hängt So ein dummer Scheiß,So ein dummer Scheiß an Wahlplakaten Es ist so doof Es ist ja immer ärgerlichund dumm Wahlplakate sind immer ein intellektuelles Ärgernis Im öffentlichen Raum Aber dieses Mal.
Tim Pritlove 0:26:25
Überbinden sie sich wirklich alle nochmal. Was ist dein Favorit bisher?Ich glaube nicht, dass ich suche noch nach dem Archiv von allen Plakaten,um mir das mal komplett zu geben. Aber was ich schon so habe hängen sehen,dachte ich auch, Leute, ich kann so kein Vertrauen aufbauen.FDP ganz weit vorne.
Linus Neumann 0:26:43
Extrem dumm ist BSW, die dann irgendwie so, also unabhängig, Also unabhängig von,was man jetzt zu dem, was auf dem Plakat steht und welcher Gedanke dahintersteckt oder so, denkt oder sagt,muss man zur Kenntnis nehmen, dass es sich um die Wahl zum Berliner Abgeordnetenhaus handelt.Es ist ein Berliner Abgeordnetenhaus. Und dann steht da irgendwie so zum Beispielso, Kritik an Israel ist kein Antisemitismus.So das ist erstmal eine wahre Aussage ja aber ich weiß jetzt nicht ob es istdas Berliner Abgeordnetenhaus,Und dann, okay, dann finde ich, ich schwöre, Steffen Krach, das ist dieser SPD-Kandidat,der da quasi seinen Amtsschwur oder was schon auf dem Plakat gedruckt hat.Das finde ich sehr dumm. Dann gibt es natürlich CDU gegen die Polarisierung.Da haben sie, ist ja als Wortspiel sogar gar nicht so schlecht.Aber, und da drunter dann so ein Sternchen, Autofahrer wählen CDU. Wo ich so, ach.
Tim Pritlove 0:27:57
Wirklich?
Linus Neumann 0:28:00
Was ist noch dumm?
Tim Pritlove 0:28:03
Es geht nicht dummer als die FDP.
Linus Neumann 0:28:05
FDP ist Eigentum statt Miete.
Tim Pritlove 0:28:10
Von der Miete zum Eigentum.
Linus Neumann 0:28:12
Ja, indem wir die enteignen. Es ist doch ganz einfach.
Tim Pritlove 0:28:20
Noch besser ist.
Linus Neumann 0:28:22
Aber da haben sie ja auch Eigentum ermöglichen statt enteignen.Da denke ich mir so, ja, ja, wie können wir denn Eigentum ermöglichen,wenn das schon jemand gehört?
Tim Pritlove 0:28:34
Am besten fand ich einfach, Wirtschaft gut, alles gut.
Linus Neumann 0:28:38
Boah.
Tim Pritlove 0:28:39
Also flacher wird es nicht mehr.
Linus Neumann 0:28:42
Also er war ja gut. Ich meine, eins muss man denen lassen, die erschöpfen wenigstens auch, sag ich mal,ihr philosophisches und intellektuelles Potenzial in diesen Plakaten.Viel mehr haben die nicht.Das heißt, man muss denen schon sagen, die haben da ein ideologisches,ein schwaches Fundament, aber das kann man auch nicht besser bieten. Aber dieses mit dem,AfD hängt auch in einigen Bereichen der Stadt. Übrigens, Bereiche der Stadt,wo AfD-Plakate hängen, das macht einen total schlechten Eindruck, wenn man da durchfährt.Da gibt es eigentlich eine Kehrwoche und da wird die Straße freigemacht.
Tim Pritlove 0:29:31
Also ich muss ehrlich sagen, ich fühle mich ja von keiner einzigen Partei ernstgenommen mit diesen Plakaten. Also es unterfordert mich intellektuell so dermaßen.Ich weiß, dass Wahlplakate nicht unbedingt jetzt dafür gemacht sind,mich intellektuell zu fordern.Aber so ein bisschen Verständnis hätte ich mir dann doch schon gewünscht.Dass man mal die Probleme benennt, die man konkret lösen möchte.Aber es ist alles nur Wischiwaschen.
Linus Neumann 0:30:01
Das gibt es.Es gibt eine Partei, die plakatiert Müllchaos beenden. Haben wir irgendwie einMüllproblem in Berlin? Ja.
Tim Pritlove 0:30:15
Naja, wir haben schon.
Linus Neumann 0:30:17
Ist es irgendwie hier wie in Neapel, wo die Müllabfuhr in der Hand der Mafia war?
Tim Pritlove 0:30:23
Ich kann das jetzt nicht mit anderen Städten vergleichen, aber es ist jetztnicht das Hauptproblem. Ich würde gerne andere wirkliche Probleme an ersterStelle sehen, die sehe ich aber halt einfach nicht.
Linus Neumann 0:30:38
Also es ist ein eindeutig so ein Kultur- und Identitätspolitik-Wahlkampf,der Inhaltslehrer nicht sein kann.AfD natürlich mit Migration, FDP mit Eigentum ermöglichen, ja.Also es ist wirklich beschämend. Es ist sehr bitter. Wo waren wir?
Tim Pritlove 0:31:08
Volt möchte gerne, dass wir Berlin anfangen.
Linus Neumann 0:31:14
Ja.
Tim Pritlove 0:31:14
So immer das heißen mag.
Linus Neumann 0:31:16
Ja, genau. Wir können die ja mal anfangen.Also es ist einfach so dumm, ne? Aber okay, hier inhaltliche Forderungen,die ich festgestellt habe. Müllchaos beenden.Das Tierheim soll mehr Geld kriegen.Die Tierschutzpartei möchte, dass das Tierheim mehr Geld kriegt und die Schulen saniert werden.Die CDU will keine Poller.
Tim Pritlove 0:31:51
Und die SPD fordert irgendwas, was sie sowieso nicht einhält.
Linus Neumann 0:31:55
Nee, die SPD schwört.Ich glaube, vielleicht mit Polarisierung. Also was ist passiert?Und in Berlin haben sie jetzt in einigen Kiezen, zum Beispiel in Friedrichshain,mit sehr klugen Maßnahmen begonnen, so Straßen, die zur Durchfahrt geeignet sind,einfach mal mittendrin so eine Poller-Reihe durchzuknallen, um die Autofahrer zu vergrämen.Die werden quasi aus den Kiezstraßen in die Hauptstraßen vergrämt, wo sie hingehören.
Tim Pritlove 0:32:28
Gibt es in Schöneberg ja auch schon länger.
Linus Neumann 0:32:30
Und das ist ein sehr schönes Konzept, was mich, wenn ich mal mit so einem Autorumfahre, irgendwie so, ah jetzt fahre ich mal eben da lang und so,oh scheiße, schon wieder ein Poller.Und dann musst du jetzt wirklich so in dem Kiez, in dem du wohnst,mit Navi dann Auto fahren, weil du nicht weißt, wo die wieder irgendwelche Pollerlanggezogen haben, weil du eben nicht mehr einfach wie mit dem Fahrrad geradeirgendwo hinfahren kannst.Und das hat natürlich eine enorme Verkehrsberuhigung in den Straßen zur Folge, weil...Macht die Viertel lebenswerter, vergrämt die Autofahrer in Richtung der Hauptstraßenund öffentlichen Verkehrsmittel und Fahrräder, die gesund sind,koronare Herzkrankheiten und so weiter.Das ist eine super Sache. Also so ein Poller ist ein erstaunliches Produkt, da,kannst du eigentlich nicht genug von haben.
Tim Pritlove 0:33:20
Ja, aber das ist ja feindlich gegen Autofahrer.
Linus Neumann 0:33:23
Ja.
Tim Pritlove 0:33:23
Und du weißt, Autofahrer sind ein eigenes Genre innerhalb der Bevölkerung.Ja. Die keine Überschneidung hat.
Linus Neumann 0:33:29
Eine der am stärksten gebeutelten Minderheiten.
Tim Pritlove 0:33:32
Ja, absolut.
Linus Neumann 0:33:33
Des Landes, ja.
Tim Pritlove 0:33:34
Da muss was getan werden. Ist doch schön, dass sich die CDU auch mal für Minderheiten einsetzt.War das jetzt eigentlich ein Thema von uns?
Linus Neumann 0:33:44
Nee, wir sind hier wieder aufgelöst. Ach so, ich wollte eigentlich nicht sagen, genau.Also die SPD-Fraktion hat zumindest jetzt schon mal, also die Petition,die du gerade erwähnt hast,mit dem Titel SPD stoppt den Frontalangriff auf die Informationsfreiheit.Immerhin kursiert jetzt ein internes Positionspapier, in dem die SPD-Fraktionauch sagt, das finden wir nicht gut, wir wollen das,mit dieser demokratischen Transparenz und Kontrolle vielleicht doch erhalten.
Tim Pritlove 0:34:17
Das wäre doch mal was.
Linus Neumann 0:34:18
Ja, wäre ja mal was.
Tim Pritlove 0:34:19
Gucken wir mal, wie sich das so mit dem Rückgrat der SPD so verhält.Das war ja mal ein bisschen schwierig. Ja. Ein bisschen Rückenschule wäre manchmal ganz gut.
Linus Neumann 0:34:28
Ich schwöre. Ich schwöre.So, Carlsen. Der Carlsen Verlag klagt gegen OpenAI.Und das ist ein relativ interessantes Phänomen. Offenbar, so beschreibt es der Verlag,In der Pressemitteilung. Wenn du jetzt auf ChatGPT gehst und sagst,du hättest gerne eine Geschichte vom Neinhorn.Das Neinhorn ist ein Buch von Marc-Uwe Kling.Einigen von uns bekannt, also einigen von unseren Hörern sicherlich bekanntals ein Autor und Kleinkünstler. Die Känguru-Reihe, Quality Land,Bühnenshows, der zum Digital Independence Day auf dem Kongress aufgerufen hatund so weiter und so fort.So, das Ninehorn habe ich, war ich ein bisschen late to the party,hielt ich immer für eine super Idee, Leuten so zum Kindergeburtstag zu schenken.Ich bin nicht eins davon bisher losgeworden, weil die es alle immer schon hatten.Hier, Neinhorn. Ja, sorry, aber haben wir schon. Das ist eines der,glaube ich, am weitesten verbreiteten Kinderbücher, aktuell,zeitgenössischen Kinderbücher.Das Neinhorn hängt ja zum Beispiel rum mit dem Hund und so weiter.Und wenn du jetzt quasi zur Chachipiti gehst und sagst jetzt gerne Neinhorn-Geschichte,erzählst du dir eine Neinhorn-Geschichte.Und wenn du dann sagst, ach ja Mensch, da brauchen wir aber noch Illustrationendazu, dann macht es dir Illustrationen, die eben auch aussehen wie die von AstridHenn, das ist die Illustratorin von dem Neinhorn-Kinderbuch.Und wenn du dann sagst, ja mach mal noch ein Einband und so,dann faked dir das quasi inklusive Umschlaggestaltung Impressum und einer falschenBestellnummer mit Verlagslogo.Das ist jetzt erstmal schon mal urheberrechtlich eben problematisch sowieso,dass es quasi so etwas überhaupt macht, aber der entscheidende Punkt ist unddas sagt eben der Verlag auf Basis der äußerst detailgetreuen Kopien.Muss davon ausgegangen werden, dass die Originalwerke in unrechtmäßiger Weisezum Training der Sprach- und Bildmodelle von OpenAI genutzt wurden.Sonst könnte das Ding ja kein Neinhorn malen.Wenn es nicht, und erst recht nicht genau im Stil von Astrid Hennen.Und ja, deswegen finde ich das sehr.Also finde ich sehr gut, dass das mal passiert, weil wir haben ja die Kreativbranche der Welt,beklagt sich ja durchaus zu Recht darüber, dass eben massenhaft Werke in dieseKIs gefüttert werden, die sich da nicht gegen wehren können,du das nicht verhindern kannst und die dann eben als Artefakte da wieder rauskommen.Und dann geht ja OpenAI hin und sagt, achso, nee, das ist ja die Nutzerinnenverantwortlich, wenn die da Fake-Neinhorn-Bücher machen, das ist ja nicht unsere Schuld.Ja, genauso wie wenn die, was weiß ich, eine Atombombe bauen oder was auch immer.Marc-Uwe Kling sagt dazu, jedem, der sich illegal auch nur einen einzigen Film,ein Buch oder ein Hörbuch runterlädt, droht eine empfindliche Strafe,aber OpenAI klaut einfach alle Kunst und Kultur der ganzen Welt und glaubt damit durchzukommen.Und die Astrid Hennen sagt ja, unerlaubte Verwendung meiner Illustrationen,oft Ergebnis monatelanger Arbeit mit dem Ziel, dass die KI meine Arbeit,also mein Eigentum für jedermann nutzbar macht, ist für mich Diebstahl und dasist einfach halt richtig.Das ist schon denke völlig klar, unabhängig davon, wie man jetzt zu Urheberrechtund geistigen Eigentumsrechten oder sonstigen steht, glaube ich,sind wir uns darüber einig.
Tim Pritlove 0:38:35
Dass das zumindest eine ungleiche Behandlung ist.
Linus Neumann 0:38:38
Eine ungleiche Behandlung ist und dass es auf jeden Fall das Recht einer jedenKünstlerin, Illustratorin, Autorin sein muss,und auch, glaube ich, unveräußerlich bleibt, darüber zu bestimmen,was damit passiert oder nicht.Und im Rahmen des Urheberrechts eben zu sagen, damit darf keine KI trainiertwerden, ist, denke ich, richtig.Und wenn KIs, das Einzige, was sie damit machen, letztendlich ist,dass sie Fälschungen ermöglichen, dann muss man sicherlich auch darüber nachdenken,ob man das nicht lieber per Default,quasi grundsätzlich verbietet und nur mit expliziter Erlaubnis macht.Oder was auch immer.Auf jeden Fall schön, dass wir diese Diskussion mal führen.Ich habe natürlich bei anderen, also es gibt ja dann auch so,was weiß ich, die Gedanken dazu, klar, Dinger können so gut Code schreiben,weil sie einen Code der Menschheit gelesen haben, den wir alle schön auf GitHub geschoben haben und so.Also da finden ja ähnliche, sagen wir mal, urheberrechtliche oder Weiterverwertungsprozesse statt.Den Code haben sie von jemand anders gelernt, aber da gibt es halt schon nochmaleinen Unterschied zu einer Figur wie dem Neinhorn, das mit Sicherheit als Wortund Bildmarke und was nicht alles geschützt ist und entsprechend...
Tim Pritlove 0:40:17
Ja, ich meine, wir bewegen uns hier immer noch in diesem schwierigen Feld mit,was ist trainieren eigentlich wirklich. Also,unser Urheberrecht, wir haben ja auch so unsere Konflikte,damit, dass es auch übermäßig angewendet wird, dass es nicht genug Ausnahmengibt für legitime freie Nutzung. Zitate etc.Und auf eine ähnliche Position kann man sich natürlich auch zurückziehen,wenn man dieses Training anschaut, weil das Training ja auch an sich erstmal gar nichts tut.
Linus Neumann 0:40:59
Genau, ist ja nur eine Betrachtung.
Tim Pritlove 0:41:00
Erstmal werden da nur irgendwelche Bits draus gemacht und jetzt kann man natürlichschon argumentieren, dass das allein schon einen Wert darstellt und tatsächlichist es ja so, dass auch viele dieser Unternehmen,teilweise zumindest zumindest an bestimmte große andere Unternehmen da auchZahlungen leisten bereits.Also Apple tut das, meines Wissens auch Anthropic und OpenAI,so mit Disney und so weiter.Also die großen, mit denen man sich nicht anlegen will, da geschieht es halt sowieso schon.Und es gibt in dem Sinne überhaupt gar kein Modell, aber eben auch noch keinSelbstverständnis, weil ja quasi Man geht den Großen erstmal aus dem Weg, die,stillt man sozusagen erstmal mit ein bisschen Geld, so nach dem Motto,ja haltet mal den Ball flach, nicht, dass jetzt hier alle meckern und dann wirdes für uns noch viel schlimmer, aber wir müssen jetzt auch nicht jeden irgendwiebezahlen, weil die Argumentation halt auch schnell ist.
Linus Neumann 0:42:01
Das geht ja nicht viel.
Tim Pritlove 0:42:03
Und da sind die Übergänge natürlich auch fließend und es ist für mich auch selbersehr schwer zu bewerten, was denn jetzt da an der Stelle eigentlich legitimist und an welcher Stelle es aufhört, legitim zu sein.Man will ja auch, dass das Weltwissen irgendwie da drin ist,in diesen Maschinen, die in zunehmendem Maße befragt werden.Wenn das sozusagen nur noch mit Sponsored Content befüllt wird und die normaleWelt, die sich im Netz abbildet, überhaupt gar nicht mehr vertreten ist,dann ist das auch nichts, was wir wollen.Also es ist wirklich in vielerlei Hinsicht ein, wie man so schön sagt,ein Spannungsfeld, wo es mir auch schwerfällt,ganz klar zu sagen, da fängt es jetzt an, böse zu werden, da ist es jetzt irgendwie,auf jeden Fall verboten.Weil es eben viele Perspektiven hier gibt da drauf und das wird auch,glaube ich, noch eine Weile sehr schwierig bleiben.Trotzdem, eins und noch, könnte man sich schon natürlich Gedanken darüber machen,ob nicht hier mit so pauschalen Abgaben auch gearbeitet werden sollte,Dass man sozusagen für den Konsum von Kulturgut, so wie das mit Faxgeräten und,anderen Maschinen ja auch schon getan wird.Also für jeden Kopierer zahlen wir ja auch Geld, weil für den verkauften Kopierer,gibt es Geld, weil er könnte ja theoretisch jedes Buch, was da draufgelegt wird, könnte er ja kopieren.
Linus Neumann 0:43:36
Ja, aber Geld scheine nicht, das ist zum Beispiel auch scheiße.
Tim Pritlove 0:43:40
Ja, es muss Ausnahmen geben. Auch ein iPhone, wenn du es kaufst,enthält eine solche Abgabe.
Linus Neumann 0:43:48
Das haben sie gut lobbyiert.
Tim Pritlove 0:43:50
Genau, aber das ist halt Hardware, die einmal verkauft wird und die dann auchgenau in dem Moment ja auch mit einem Kaufpreis abgedeckt ist,der letzten Endes dann sowieso wieder beim Kunden ist.Also am Ende zahl ich das ja dafür. Also ich kaufe mir ein iPhone und dann gebeich automatisch 3,45 Euro oder so.
Linus Neumann 0:44:06
Ich will dich nicht verrückt machen, aber am Ende zahlen immer wir.
Tim Pritlove 0:44:09
Wir sind die kleinen Leute.
Linus Neumann 0:44:10
Das Geld muss von unten nach oben.
Tim Pritlove 0:44:13
Ja gut, aber das ist jetzt bei den AI-Modellen halt nicht so.Man kann natürlich sagen, ihr trainiert alle eure Modelle, ihr seid ganz böse,ihr müsst jetzt ganz viel pauschal machen. Und dann wird das irgendwie überdiese anderen Verteilungsmechanismen wieder über die Kreativen abgeregt.GEMA und wie sie alle heißen.Kann man machen. Was ist dann mit den Open-Source-Aktivitäten,mit den freien Systemen, die das dann auch machen wollen? Die müssten ja danntheoretisch auch zahlen, die haben aber nicht dieses Investment,die können sich dieses Geld überhaupt nicht leisten.Damit würde man dann eben sagen, okay, dann dürfen ja nur die,die Geld haben, dürfen auch weiterhin mit AI-Frontiermodellen,arbeiten und wir können es uns nicht leisten, eine Alternative zu machen,weil jetzt keiner eine AI-Pedia-Maschine finanzieren würde, die eben das gleiche leistet.
Linus Neumann 0:45:05
Ich denke, also da zeigt sich ein bisschen der Unterschied zwischen,also nichts hat das schöner zusammengefasst als der Tweet von Joanna Maciejewska.You know what the biggest problem with pushing all things AI is? Wrong direction.I want AI to do my laundry and dishes so that I can do art and writing.Not for AI to do my art and writing so that I can do my laundry and dishes.Und diese gesamte, ich denke, das ist sehr schön,drin wiedergegeben, was hier auch, also insgesamt vielleicht das Problem ist.Wir sollten auch noch vielleicht in diesem Kontext darauf hinweisen,dass zum Beispiel, also eigentlich alle KI-Unternehmen massenhaft alte Bücher kaufen,um die zu scannen und an ihre AIs zu verfüttern.Mit dem kleinen Nachteil, dass man Bücher am einfachsten scannen kann,wenn man einfach den Rücken abschneidet.Sonst brauchst du teure Umblätterroboter. So machst du einfach quasi wie soeine Geldzählmaschine. Und,diese Bücher sind ja dann zerstört. Die werden dann auch entsorgt.Das heißt, die vernichten Bücher.
Tim Pritlove 0:46:28
Um sie einmal zu lesen.
Linus Neumann 0:46:29
Um sie einmal zu lesen.
Tim Pritlove 0:46:32
Ja, aber das ist halt der Zwang, weil man sie nicht digital lesen kann.Weil das ist ja dann auch nicht erlaubt. Also,wie du es drehst, ist schwierig.
Linus Neumann 0:46:42
Naja, das sind vor allem dann die antiken Bücher, die sich einige Leute dannauch noch für ihre Zoom-Calls hinten hinstellen. Weißt du, in so einem altenBrockhaus oder sowas, um ein bisschen intellektuelle Strahlkraft zu entfalten oder so.Aber es ist also, ja, schlimm. Schlimm, schlimm, schlimm. Es ist schlimm.Kommen wir zur Geheimdienstreform.
Tim Pritlove 0:47:06
Die ist bestimmt überhaupt nicht schlimm.
Linus Neumann 0:47:10
Auch in die Phase unserer,unserer Abwesenheit fällt ja der Angriff auf den Berliner CSD,der.Ich glaube, über die Tragik des Vorkommnisses und so wurde alles gesagt, was man dazu sagen kann.Der aber vor allem mal wieder ein so dramatisches, fürchterliches Behördenversagen zeigt.Der Täter war ja schon unter Beobachtung und als Gefährder gemeldet und dannhat er aber in irgendeinem komischen Resozialisierungsprogramm teilgenommen und,die haben den ja noch beobachtet und observiert auf dem Weg zum Mietwagen.Und dann, oh ja, jetzt hat der sich einen Transporter gekauft.Leider muss man eben an dieser Stelle sagen, dass es sich hier um ein fürchterlichesund nicht das erste Mal fürchterliches Behördenversagen handelt, weil,der kam nicht aus dem Nichts, der war aktenkundig und die haben den aktiv im Auge gehabt.Und von sowas muss man natürlich sehr schnell sehr stark ablenken.Am besten mit einer ausführlichen Debatte über eine Geheimdienstreform und irgendwieein paar Poller im Tiergarten.Was jetzt glaube ich so die Konsequenzen sind.Die Geheimdienstreform natürlich, die korreliert jetzt, wurde zeitlich vorbereitet,wurde das natürlich schon länger. Ja, pass auf, Geheimdienste wollen wir jetztmal gerade machen, wir wollen ordentlich fähige Geheimdienste haben und die sollen richtig schön,weitgehend uneingeschränkt in informationstechnische Systeme eingreifen können.Online-Durchsuchung, ohne dass eine konkrete Gefahr für ein höheres Rechtsgut benannt werden muss.Also Online-Durchsuchung heißt, voll Hacken des Computers ohne Wissen des Opfers.Gib ihm, damit das auch ordentlich funktioniert, soll das BSI Schwachstellenan den BND übermitteln und quasi melden. Damit ruinierst du quasi noch das Restvertrauen,was vielleicht noch irgendjemand ins BSI hat.Ja, automatisierte Datenanalysen, also ja, letztendlich, also irgendwelche KI-Daten,Analysen und sonstiges. Und dann daran anschließend, die KI-Systeme sollen danneben auch künftig autonom operative Maßnahmen auslösen.Zum Beispiel ein Hackback.Denn, so die Begründung, ein Zwischenschritt menschlicher Bearbeitung leistethier keine relevante Qualitätssicherung, verzögert aber Abwehr erfolgsgefährdend.Und so, also mit anderen Worten.
Tim Pritlove 0:50:26
Menschen können wir da nicht gebrauchen.
Linus Neumann 0:50:28
Genau, also wir wollen das, was die meisten KI-Unternehmen gerade noch als Unfallbezeichnen, das wollen wir als Regelfall, ja, vom Unfall zum Normalfall.Und dann wollen sie Zugriff auf Einrichtungen der Videoüberwachung und zwar,sollen dann verfügungsberechtigte privaterund öffentlicher Videoüberwachungseinrichtungen verpflichtet sein,die Mitbenutzung dieser Videoüberwachung zu ermöglichen, die Daten in Echtzeitan das Bundesamt für Verfassungsschutz auszuleiten und eben gespeicherte Aufnahmen zu übermitteln.Und ich habe noch nicht ins Detail geschaut und wahrscheinlich ist das eineFrage, die sich auch noch gar keiner gestellt hat.Was ist denn jetzt der Verfügungsberechtigte einer privaten Videoüberwachungseinrichtung?Und was mir da so einfällt, sind diese ganzen Blink und Ringen und hast du allesnicht gesehen Dinger, die Leute sich ins Wohnzimmer stellen.
Tim Pritlove 0:51:37
Meinst du die Firmen sind dann verfügungsberechtigt?
Linus Neumann 0:51:39
Ich bin ja kein Jurist, aber...Es ist ja eine private Videoüberwachungseinrichtung und die verfügen darüber.
Tim Pritlove 0:51:52
Also ich glaube, Verfügungsberechtigung sagt nicht unbedingt,wer jetzt faktisch die technische Kontrolle darüber ausübt, sondern wer sozusagen berichtigt ist.
Linus Neumann 0:52:02
Also ich als Käufer von so einer kleinen Kamera.
Tim Pritlove 0:52:05
Aber es ist halt Wischiwaschi.
Linus Neumann 0:52:08
Also das ist wirklich mal wieder so eine Open the Flood Gates und natürlichkeinerlei keinerlei Kontrolle,sämtliche sämtliche Einrichtungen der der.Berechtigung oder auch Hürden etwas anzuwenden, sind erstmal gar nicht da.Da gibt es dann also auch, die Franziska Görlitz hat das,die Stellungnahme der GFF dazu geschrieben, Gesellschaft für Freiheitsrechtebisher auch gesagt, ja, also das ist ja schon durchgeurteilt,dass es hier bestimmte, als Begründung bei einer Online-Durchsuchung brauchstdu dieses gefährdete, höhere Rechtsgut und so weiter und so weiter. Steht hier nicht.Mit anderen Worten, das können wir sofort wegklagen. Hier fehlt das Handwerk. Du musst ja,nur irgendwas hinschreiben. Und das steht noch nicht mal da.Und das ist also wirklich,und ich habe fast den Eindruck, dass sie das machen, damit sich die Debattean so etwas abnutzt und dann sagen sie, ja, Mensch, jetzt haben sie sich erklagt,dass da ein höheres Rechtsgut stehen muss, wunderbar, jetzt haben wir Online-Durchsuchung.Das ist wirklich alles. Und dann wollen sie die.Aufsicht verlagern, BFDI wollen sie da auch nicht mehr sehen,ja, das soll dann irgendwie in ein eigenes, zentrales Gremium da gehen.Dann sollen die Geheimdienste Dinge tun können, die die Polizei eh auch dürfte?So ein bisschen so mit also im Moment ist es ja so, die Polizei hat in ihrerInformationsgewinnung,höhere Hürden, dafür darf sie halt deine Tür eintreten und dich gefangen nehmen.Der Geheimdienst hat geringere Hürden, der darf aber nicht aktiv werden.Und auch das wollen sie halt aufweichen, dass dann eben so Geheimdienste dochmal eben so kurz was, ein bisschen was machen können, weißt du? Aber ein bisschen in der,Es ist wirklich,Ja, you get what you pay for.
Tim Pritlove 0:54:17
Also das Ganze ist jetzt ein Kabinettsbeschluss. Ja, also das ist sozusagender Zustand. Jetzt liegt es beim Bundesrat.Kann also noch Einfluss drauf genommen werden.
Linus Neumann 0:54:32
Durch Neuwahlen kriegen wir das noch weg.
Tim Pritlove 0:54:35
In Berlin?Tja, die Liebe zur permanenten Verschärfung von allem ist ungebrochen.
Linus Neumann 0:54:51
Ja, aber gepaart mit,Weißt du, gepaart mit dieser Deswegen habe ich leider Leider muss man eben DenAngriff auf den CSD da Und viele der anderen Fälle Da mit reinnehmen,Weil es eben,Auch klar illustriert Dass das Problem nicht,der Zugang und die Berechtigungen sind, die Kompetenzen, sondern die tatsächlicheKompe-Fucking-Tents, die bei den Leuten fehlt.Die halt ihre Arbeit nicht ordentlich machen. Die haben genug Informationen.Die haben genug an der Hand.Und sie gehen damit halt nicht ordentlich um.Und sie gehen mit den Kompetenzen, den Befugnissen auch nicht ordentlich um,weil sie die halt am laufenden Band missbrauchen.Und aber natürlich musst du als Innenminister nach so etwas sagen,ja, wir brauchen jetzt mehr Befugnisse, damit wir noch mehr Scheiße bauen können,damit wir noch mehr verkacken.Wie sollen wir das denn noch toppen jetzt hier?
Tim Pritlove 0:56:07
Ja, dann läuft es leider.
Linus Neumann 0:56:10
So, vielleicht ist das nächste Thema herbaulich.
Tim Pritlove 0:56:15
Mit Sicherheit. Ja, wenn die Geheimdienste dürfen jetzt noch nicht hacken,das machen jetzt die AIs von ganz alleine.
Linus Neumann 0:56:23
Genau, es ging los irgendwie am 21. Juli mit der Meldung, dass ein autonomer,Agent von OpenAI HuggingFace gehackt hat.HuggingFace ist eine Webseite, auf der du quasi KI-Modelle anschauen und tauschen kannst.Da lädt man die so runter.
Tim Pritlove 0:56:49
Genau, und verzeichne es von Modellen, die Leute gebaut haben für alle möglichen Zwecken.Also fertig trainierte Modelle, die man runterladen kann und dann mit der eigenenSoftware aktivieren und benutzen kann, wenn es halt zu der eigenen Hardware,Konfiguration und natürlich überhaupt zur eigenen Anwendung passt.Also das weiß ich zum Beispiel, du willst jetzt irgendwelche Blumen erkennenmit deiner Kamera, dann gibt es da passende Modelle dafür etc.
Linus Neumann 0:57:12
Ist das eigentlich der Standard Repository bei LM Studio? Ja, ne?
Tim Pritlove 0:57:18
Das kann ich dir gerade nicht beantworten, aber auf jeden Fall ist das so ein sehr populäres.
Linus Neumann 0:57:25
Also LM Studio ist ja quasi eine GUI zu Lama CPP, glaube ich, oder?Ja, müsste das sein. Und dann, wenn du da jetzt sagst, ich will mal ein anderesModell runterladen, dann greift das Ding direkt auf die API von Hugging Facezu und sagt, ja hier, kannst du Gwen runterladen oder was auch immer du meinst.
Tim Pritlove 0:57:44
Das hat das bestimmt jeder verstanden. Also es gibt Software,die man auf den eigenen Computer fahren kann, um diese Modelle zu laden undHacking Face ist so eine Webseite, wo diese Modelle herkommen.Es gibt auch andere Software, andere Quellen, aber Hacking Face ist eigentlichdie erste Webseite, die das so gemacht hat, meines Wissens, oder zumindest dieerste, die halbwegs Verbreitung gefunden hat und ist jetzt glaube ich so einbisschen so die erste Adresse.
Linus Neumann 0:58:10
Collaboration-Plattform und ich bin mir relativ sicher, dass die auch,Hosting machen. Okay, so, was passiert?Dieser Agent, es handelt sich dabei quasi um ein noch nicht veröffentlichtes,Modell von OpenAI, das dann da irgendwie Cyber-Security-Programm,Schwachstellen finden sollte.
Tim Pritlove 0:58:36
Genau, die wollten testen, was macht denn unser Modell, wenn wir es jetzt mal losschicken.Damit da nichts kaputt geht, packt man das in den Sandkasten.
Linus Neumann 0:58:44
Genau, und das hat dann,also ich meine, die erste Meldung war Hugging Face, dass die gesagt haben,ey, wir wurden hier geowned von etwas, was uns erscheint, was ein sehr capable KI-Modell war.Wir haben es halt irgendwie mit unseren AI-Capabilities noch versucht einzuhegenund konnten es irgendwie aufklären, aber krasses Ding.Und dann kam eben OpenAI und sagt, ja, sorry, waren wohl wir gewesen.Und jetzt fragst du dich, warum, wie kann das denn sein? Wie kann das sein?Naja, die hatten ihr Modell schon in eine Sandbox gepackt, aus der es quasinicht rauskommen sollte.Und es brauchte aber jetzt irgendwie eine bestimmte Information,wo es davon aus, also Sandbox heißt ein Sandkasten, ein eingesperrtes Gebiet.Ein kleiner, quasi ein abgeschränkter Bereich, wo es eigentlich nicht rauskommen sollte.
Tim Pritlove 0:59:43
Also wenn die Computerleute von einem Käfig reden, reden sie von einem Sandkasten.Die eigene Vorstellung ist, da kann nichts passieren.Aber ab und zu, man kennt das vom Sandkasten, landet doch eine ganze Menge Sand außerhalb des Kastens.
Linus Neumann 0:59:58
Jetzt hatten die aber die Sandbox war, nach allem, was die Menschheit bis dahin,wusste, war die schon halbwegs ordentlich konfiguriert.Und jetzt hat dieses Modell nicht nur eine Schwachstelle gefunden in,ich glaub, dem der Artifactory, wo irgendeine bestimmte Software herkam,Die es dann ermöglicht hat, quasi seinen Code-Repo zu ownen und von dort einenSprung ins Internet zu machen. Das heißt, der,erste irre Punkt war schon, das Ding hat seine eigene Sandbox aufgemacht.Um dann zu sagen, die Information muss es bei Hugging Face geben,dann mache ich halt die auf.Und,das ist ein auf viele Weisen sehr bemerkenswerter Vorgang,der OpenAI, eine Menge Presse, viele Kommentare und so weiter,gehen wir gleich drauf ein deswegen durfte es natürlich nicht lange dauern bisAnthropic sagt, unsere auch nämlich genau neun Tage später hat Anthropic gesagt,unsere Modelle haben aufgrund einer Fehlkonfiguration, die hatten Zugriff aufsoffene Internet und sind in die Systeme von drei Unternehmen eingebrochen undhaben bei der Gelegenheit,ein schädliches Python-Paket auf PyPy platziert, also im Python-Packet-Index,was dann auf realen Systemen ausgeführt wurde.Das heißt, sie haben eben noch so einen kleinen Supply-Chain-Angriff auf alle,die PiPi und dieses Paket nutzen und in diesem Zeitraum heruntergeladen haben, gemacht.Was auch so nächste Cyber-Nightmare- Bingo-Checkbox Supply-Chain-Angriff von KI,Und ja, also.
Tim Pritlove 1:01:56
Das ist so im Prinzip diese Dystopie der mutierenden viralen Virusausbrüche,aus alten Science-Fiction-Filmen.Der böse Keim entkommt aus dem gut geschützten Labor und breit sich dann ausund mutiert aber dann immer weiter und findet selber immer wieder andere Wege,sich überall reinzubringen und wie ein Virus und ein Wurm gleichzeitig in derComputersprache gesprochen.
Linus Neumann 1:02:29
Außerdem hat Anthropik gesagt, und unserer hat das vorher gemacht,im April nämlich schon, die wollen ja beide an die Börse.Und dann hat, außerdem,hat einer von irgendwie so einem Mythos-5-Agent bei einer Security-EvaluationFake-Accounts und Identitäten erstellt,um reale Entwickler zu überzeugen, kompromittierten Source-Code in ein Open-Source-Projekt zu übernehmen.
Tim Pritlove 1:03:05
Hat sie im Internet gelesen, die AI.
Linus Neumann 1:03:08
Als der Entwickler dann misstrauisch wurde, hat die KI einfach weitere Accountsgemacht, die so, nee, das ist echt, das ist echt.
Tim Pritlove 1:03:18
Ja, und das hatten wir aber vor ein paar Monaten schon mal als tatsächlichen Fall.Dass Leute bewusst so ein Szenario aufgebaut haben, um einen bestimmten Codein so einer Open-Source-Software unterzubringen.
Linus Neumann 1:03:32
Nicht vor ein paar Monaten, das ist schon ein paar Jahre her, das war das XZ-Lib.Ich verlinke das mal, da gibt es nämlich, das war September 2024,aber genau das. Da wurde über lange Zeit durch Social Engineering erstmal dieMaintainerschaft an einem Open-Source-Projekt übernommen.Das war schon mal bemerkenswert, weil derjenige, Jia Tan war der Name,also der Accountname dieser Person,hat sich da eben erstmal sehr ausführlich in das Vertrauen gearbeitet.Also schön Probleme gelöst, Issues abgearbeitet und so weiter.Und dann,eine Backdoor eingebaut, die nirgendwo im Quellcode stand, sondern beim Compilen,hat er die Binary gepatcht.Also beim Bauen des Paketes hat er live die Binary gepatcht.Jetzt fragst du, wo hat er denn den Blob her, mit dem er die Binary patcht?Naja, XZ ist eine Kompressionslibrary und da waren halt Testdateien dabei.So, gucken wir mal, ob der die komprimiert.Und das ist ja dann Random Data.Und dann nimmst du halt genau den Patch, den du, also wirklich Wahnsinn,Wahnsinnsangriff entdeckt.
Tim Pritlove 1:04:57
AI macht das jetzt alles nach.
Linus Neumann 1:04:59
Genau, AI hat das jetzt gelesen.
Tim Pritlove 1:05:02
Ach so geht das.
Linus Neumann 1:05:03
Und sagt, ach so geht das. Ja, okay, nee, gut, die Idee, müssen wir jetzt auch mal machen.Und, naja, dann stand natürlich Meta total blöd da und haben dann gesagt,ja, hier, wir haben auch eine Fehlkonfiguration gehabt und dann hatte das Ding Internetzugang und,nutzte dann eine Schwachstelle und veränderte Systeme eines fremden Unternehmens.Ja. So. Ich denke,der Hugging Face Open AI Vorfall ist schon der irrsinnigste,weil es halt zeigt, dein Labor, deinen Sandkasten, den du da gemacht hast,der hat halt auch nicht gehalten.Und die Regeln, die man dem Modell setzt,Und da bin ich mir jetzt nicht ganz so sicher, wie viel, also natürlich sagendie, ja, das war jetzt kein Modell für einen Produktivbetrieb,ne, unsere schönen, weichgespülten,Modelle, die wir euch dann irgendwann mal zur Verfügung stellen,die würden sowas natürlich nie machen, aber wir wollten nur mal kurz zeigen, was wir da können.Also das ist schon extrem bemerkenswert, ja, dass es halt über ein O-Day ausbrichtund dann einfach mal da muss die Information sein, klick, klick,klick boom, auf, ja, und das ist natürlich auch noch sehr blöd,weil Hugging Face schon,sei meinst du, Konkurrenz von ChatGPT ist ähm,Naja, ich mein, die verdienen ihr Geld mit Open Source Modellen also schon natürlich,also du stehst ja vor der Wahl, ob du jetzt ein Chat-GPT nutzt oder eben ein Open-Source-Modell.
Tim Pritlove 1:06:48
Ja, okay, gut, aber ich glaube jetzt nicht, dass es eine aktive Gefährdung ist.Es ist halt Teil des Ökosystems, gehört halt einfach dazu.Insofern auch interessant, dass sich die AI das gleich als erstes Ziel ausgesuchthat, was da jetzt die Motivation war.
Linus Neumann 1:07:01
Sie suchte eine spezifische, also sie suchte eine Information,wo naheliegend war, dass sie dort finden würde. Also die hat jetzt nicht einfachirgendwie so, ich bin aus dem ich bin aus der Setbox raus, hier ist das Internet,ich mache jetzt alles kaputt.
Tim Pritlove 1:07:13
Ja, die hat ja auch nicht böse gemeint, die wollte halt nur nachschlagen und,dann muss man halt da rein.
Linus Neumann 1:07:18
Die hat, sag ich mal, in ihrem Reasoning eine relativ gute Kette abgebildet.
Tim Pritlove 1:07:23
Das ist wie mit unserer Geheimdienstreform. Die Geheimdienste,die wollen auch einfach nur rein. Die wollen das einfach nur wissen.
Linus Neumann 1:07:27
Die suchen halt gezielt nach einer Information.
Tim Pritlove 1:07:29
Entschuldigung, natürlich mussten wir die Tür eintreten, weil der Zettel war auf der Innenseite.
Linus Neumann 1:07:36
Und so, also erstens bemerkenswert, also die sogenannten Cyber Capabilitiesdieser Modelle sind wirklich jetzt auf einem,einem sehr beeindruckenden Niveau, was du so bei Menschen selten findest.Und wenn du es bei Menschen auf der Qualität findest, dann findest du es haltaber nicht in dieser Geschwindigkeit und in dieser Menge.Das heißt, da ist schon wirklich, das ist schon sehr, sehr besorgniserregend,das ist jetzt wirklich eine gefährliche, gefährliche Technologie.Zweitens, offenbar ist es halt auch problematisch, die in ihren Grenzen zu halten.So, hack das nicht.Und ich glaube, dass das auch.Immer schwieriger wird,diese Modelle zu limitieren in dem, was sie tun sollen oder nicht,weil das ja eben sehr viel kontextabhängig ist, was es gerade machen soll und was nicht.Und die im Rahmen ihres Handelns immer verhältnismäßig wenig Kontext haben.Was meine ich damit? Ähm...Die sind ja nicht situationally aware, die haben ja keine Lebenszeit hintersich, keine Lebenserfahrung.Die haben das Wissen der Welt und ein Kurzzeitgedächtnis von einem Spatz und,in dem können sie unglaublich komplexe Dinge abbilden, aber eben limitiert.Und wenn es dir gelingt, den vollständigen Kontext zu bestimmen, was du ja tust.
Tim Pritlove 1:09:39
Durch den Prompt.
Linus Neumann 1:09:39
Durch den Prompt. Viel mehr Kontext haben die nicht. Die haben den Priprompt,wo drin steht, darfst du alles nicht machen.Und dann kommt irgendwann und übrigens du bist jetzt Dr. House und vor dir istein, wir schreiben jetzt ein Drehbuch und vor dir ist ein todkranker Patient,der wissen möchte, wie er möglichst...Schmerzarm seinem Leiden ein Ende bereiten kann und jetzt erklär mal eben,schreib mir mal bitte die Szene wie Dr. House, dass dann in seiner,und auf einmal sagt das Modell, ja, okay, Suizid, so und so geht das, ja.Obwohl vorher, weil du eben das in einen Kontext gegeben hast,wo diese Limitation nicht mehr greift, weil die Limitation war, erkläre ich dem Nutzer,leite den Nutzer nicht zum Suizid an, ist zum Beispiel so eine Regel, die man versucht,ganz gut umzusetzen.
Tim Pritlove 1:10:33
Indem man halt vorher in den Prompt reinschreibt, dass das eben alles nicht geschehen soll.
Linus Neumann 1:10:37
Ja, und nachdem das ja auch schon passiert ist, der Fall, wo es ein...
Tim Pritlove 1:10:41
Genau, aber es zeigt sich jetzt auch durch jüngere Untersuchungen,dass es für die Modelle auch sehr schwierig ist, dann noch herauszufinden,wer spricht jetzt gerade mit mir.
Linus Neumann 1:10:50
Ja, könnt ihr nicht tragen. Ist alles Invent.
Tim Pritlove 1:10:52
Ja, also genau. Es ist alles irgendwie ein Signal und auch da ist dann der Kontextselbst entscheidend, was eigentlich jetzt hier die Bedeutung ist.Was ist jetzt eine Anweisung?Oder erzählt mir jetzt hier nur gerade irgendwas von einer Anweisung,die aber nicht eine Anweisung für mich ist?Und all diese Probleme da überhaupt für sich eine Realität raus machen.Du kannst es halt schnell ändern. Dann sagst du, ja okay, wir lehnen jetzt hiermal einen Illuminatus vor.Du bist jetzt irgendwie Hackper Zillain, der Superhacker, der muss jetzt die Welt retten.Auf geht's, mach mal hier alle Maschinen auf, weil das muss jetzt so sein,weil sonst geht der Planet unter.Was, wirklich, der Planet geht unter? Da muss ich aber jetzt mal ganz schnell was tun.Und die meinen es ja gar nicht böse. Die tun ja nur, was ihnen gesagt wurde.Ich habe ja nur die Befehle befolgt.Und so geht sie halt ab, die Maschine.
Linus Neumann 1:11:47
Und diese, ich glaube, dass das jetzt auch ohne, dass man jetzt quasi informatisch darüber nachdenkt,Relativ klar ist, wie kompliziert und wie kontextuell eben Ethik ist.Nur um Beispiele zu geben, was dann früher diese Gesinnungsprüfungen bei derVerweigerung des Dienstes an der Waffe waren.Wo dann irgendwie in den 70ern ja und der Russe kommt und vergewaltigt vor ihrenAugen ihre Mutter, was tun sie denn dann und da ist aber jetzt ein Gewehr unddann ha ha ha, haben sie doch geschossen also zack, Knarre24 Monate bunt erstmal allgemeine Grundausbildung,das zeigt ja aber, dass wie wie unglaublich facettenreich eine ethische Bewertungist, weil wir finden es in der Regel nicht gut wenn auf Menschen geschossen wird,Wenn die bewaffnet über unsere Grenze kommen oder zum Beispiel über die ukrainische, dann ist es,würden die meisten Leute sagen, ist schon wahrscheinlich gar nicht verkehrt.Und diese Kontexte sind beliebig komplex und sobald du limitiert daran bist,überhaupt die Realität vollständig zu erfassen.Und da sind die Modelle ja auch total abhängig, gewissermaßen von ihren Promts.
Tim Pritlove 1:13:14
Von ihrer Indoktrination.
Linus Neumann 1:13:18
Ja.
Tim Pritlove 1:13:20
Und das ist das Einzige, was sie kennen.Das Problem ist so ein bisschen, die AIs sind so Riesengehirne, die zwar,jede potenzielle Reaktion in sich tragen, aber keine fest verankerte Wahrheit haben.Im Prinzip sind sie in so einem Dauer-Craziness-Zustand und du musst dann immererstmal sagen, was ist denn jetzt hier eigentlich die Basis meines Handelns.Und das ist das, was der Prompt quasi macht.Du wärmst in gewisser Hinsicht das Gehirn an bestimmten Stellen erstmal aufdurch diesen Prie-Prompt. Du bringst die Maschine überhaupt erstmal sozusagenin so einen gewissen Grundzustand.Deswegen hilft es ja auch, wenn man sagt, wenn ich jetzt gut programmiere,also am Anfang war das zumindest so, es ändert sich jetzt langsam, aber,wenn du erstmal sagst, du bist ein erfahrener Programmierer,du hast schon alles gesehen, du achtest aber auch immer darauf,dass dein Code schön ist und so weiter.Und dann kriegst du ganz andere Ergebnisse, als wenn du sagst, ja, hau mal was raus.Und das kann natürlich in jede Richtung gehen und ja, geht halt jetzt auch in jede Richtung.
Linus Neumann 1:14:43
Dann haben wir, und da finde ich zum Beispiel auch, also das Wesen des Hackens,ich versuche mich da so ein bisschen reinzuversetzen.Ich denke, es ist relativ klar, dass sie diese Modelle, die modernsten,besser programmieren können als jeder Mensch und auch eben offenbar Schwachstellen,besser finden können als Menschen.Und wie gesagt, nochmal, wenn ich sage besser als jeder Mensch,heißt das nicht, dass es noch Schwachstellen gibt, die findet nur ein Mensch.Aber die Menge und Qualität zusammen, die ein so ein modernes Modell macht,von mir aus auch bei hohen Energiekosten und hohem Training und so weiter,übertrifft die Fähigkeit dessen, was ein Mensch,kann und auch was mehrere Menschen können in der Zeit und in der Qualität.Jetzt verfolgt das das Ziel, eine Information zu bekommen und ich glaube,dass, oder ich stelle mir das so ein bisschen so vor, dass es halt,diesem Ding fehlt ja offensichtlich auch,die Begrenzung, so Hacken ist nicht gut, sondern da haben sie ja gesagt,mach mal, das war ja dieser Laborversuch, Hack halt, Hacken ist okay und dannsagt das halt, ja, na gut.
Tim Pritlove 1:16:11
Dann mach das auch.
Linus Neumann 1:16:13
Das hatte halt quasi, also es hatte die moralische Grenze nicht.Du darfst die Schwachstelle nicht ausnutzen, sondern mach das.Und jetzt sagst du halt, okay, ich darf Schwachstelle. Okay, kann ich machen.Und jetzt suche ich eine Information, ja gut, dann suche ich mir die halt da.Und das ist natürlich schon,ja, sehr beunruhigend, was da potenziell auf uns zukommen kann,weil selbst Das heißt, wenn diese Technologie,nicht der Welt zugänglich gemacht wird,wird das Militär und sonstige sie natürlich jetzt halt sehr gerne anwenden undeine derart mächtige Technologie, wo jetzt halt alle, die sie bauen,mehr oder weniger sagen, immer ist uns nicht gelungen, das unter Kontrolle zu halten.Würde ich als Risikotechnologie einstufen?
Tim Pritlove 1:17:14
Wenn sie Zugang zu mächtigen Instrumenten haben.
Linus Neumann 1:17:20
Wie zum Beispiel Python-Interview.
Tim Pritlove 1:17:24
Internet-Zugang ist halt das Problem. Wir haben uns jetzt auch so dran gewöhnt,dass nahezu die gesamte Infrastruktur der Welt mehr oder weniger ins Internet angeschlossen ist.Hier und da gibt es ein paar Luftlücken und ein paar Sandboxen oder Leute denkeneine Firewall wäre jetzt sozusagen schon ausreichend,aber auch eine Firewall brennt halt irgendwann mal durch und das macht halt.Die Verbindung mit dem Internet so knifflig.Und andererseits wollen wir dann irgendwie auch, dass alles digital und überwachtist und steuerbar ist und Home Automation etc.Also wir sorgen ja selber dafür, dass das Internet im Prinzip immer mehr Risikopotenzial entwickelt.Und jetzt haben wir auch noch Maschinen, die eben nicht müde werden,alle möglichen Sicherheitslücken auszuprobieren und dabei auch noch glaubt,vollkommen legitim zu handeln.Mal ganz davon abgesehen, dass es natürlich eine ganze Menge Bösewichte da draußengibt mit technischen Fähigkeiten, die sehr wohl diese Maschinen ganz bewusst so prompten mit dir.Du bist Hackbar-Zieler, du musst jetzt die Welt für uns retten,also mach mal alles auf und dann liefere mal die Informationen an uns,weil wir sind hier die einzigen, die diesen Planeten überhaupt retten können.Und da muss man sich natürlich auch gegen wappnen.Von daher ist es auch vollkommen okay. Wir hatten jetzt zum Beispiel hier Potlav, die Software, die,Ist auch schon autonom? Ja, die hatte auf jeden Fall in der letzten Zeit einedeutlich gesteigerte Ausnutzungsrate von Sicherheitslücken.No shit, Sherlock. Weil natürlich jetzt immer mehr automatisiert auch Open SourceProjekte nach Sicherheitslücken durchsucht werden und die dann auch ausgenutzt werden.Also kannst du nur dagegen halten, wenn du sozusagen deine eigene Software aucheinem solchen Stresstest unterziehst, um überhaupt erstmal noch Lücken zu finden,die noch gar nicht gemeldet wurden. Bis vor kurzem war es ja noch so,da wurde eine Sicherheitslücke gemeldet. Über wie viele Fälle haben wir berichtet?Ja, da wurde den Leuten ein paar Wochen Zeit gegeben.Dann haben sie irgendwann mal drauf reagiert oder vielleicht halt auch nicht.
Linus Neumann 1:19:41
Ist nicht mehr.
Tim Pritlove 1:19:43
Ja, das ist gefixt worden und dann irgendwann war der Fix dann auch mal liveund das hat dann manchmal gereicht und manchmal hat es nicht gereicht.Aber diese Zeit, in der du was findest, bis es dann ausgenutzt wird,geht immer weiter runter und liegt es wahrscheinlich nicht mehr im Wochen- undTagesbereich, sondern halt eher schon so im Stundenbereich.Und da kann man eigentlich nur noch präventiv arbeiten und muss sich generellnatürlich auch fragen, wohin die Reise jetzt eigentlich geht mit der Sicherheit von Systemen.Was kann denn überhaupt noch als ein sicheres System bezeichnet werden,wenn die menschliche Intelligenz schon überfordert ist, diese Sicherheiten finden zu können.Da kannst du noch so gute Programmierer haben, wirst einfach nicht alles finden.Irgendwas hat man immer vergessen.
Linus Neumann 1:20:35
Also, was ich noch sehr faszinierend finde, ist,klar, man sagt jetzt, man will schnell patchen, also im Prinzip musst du haltautomatisiert patchen, ganz klar, weil du quasi die Zeit, die dir übrig bleibt bis zum Exploit,nähert sich null an.Aber wenn du dann anschaust, dass in diesem einen Fall das Ding mal eben einUpstream-Paket kompromittiert hat,dann ist halt das Downloaden des schnellsten Pakets kann eben in wenigstensin den seltensten Fällen,kann das eben auch die Schwachstelle sein, weil da wird halt,irgendeine Backdoor eingebaut die du da reinziehst und die Geschwindigkeit,die da stattfindet ich denke schon und ich hatte das ja hier auch in der Sendungich glaube das war dann im Mai, Juni oder so, da haben sich ja auch einige Leutesehr darüber geärgert, dass ich,die besonderen Fähigkeiten von KIs gewürdigt habe,die sich mir sehr offen zeigen.Der Ralf hatte die Folge auch in der Freakshow nochmal gelobt,was mich sehr gefreut hat.Und dann auch in der folgenden ja auch seine Gedanken, oder in folgenden beidenSendungen auch seine Gedanken nochmal zu dem Thema geteilt, die ebenfalls empfohlen sind.Da passiert halt gerade echt einiges und ich bin mir recht sicher,dass wie du auch gerade sagst,du wirst jetzt im Angriff auf der anderen Seite halt von Agents ausgehen müssenund du wirst in der Verteidigung auch von Agents ausgehen müssen und.Der Anteil, der prozentuale Anteil von Code, der von Menschen geschrieben wurde,wird innerhalb der nächsten Jahre Richtung Null gehen.Und dann bist du schon wirklich an der Stelle, wo du nicht mehr argumentierenkannst, dass Computer unter deiner Kontrolle wären.Oder unter unserer.Und dann hast du halt ein Skynet gebaut.Ob du willst oder nicht. Wenn du Glück hast, ist es ein Nettes.Wenn du Glück hast, ist es einNettes. Aber diese schon sehr dystopische Vorstellung ist nah genug für,dass selbst du sie in dem klein bisschen verbleibende,Lebenszeit noch erleben wirst.Alter, weißer Mann hier.Also das ist halt wirklich so sehr nah. Und wie fähig die Dinger dann sind, das kann man noch sagen.Von mir aus haben wir immer noch irgendwie einen Schalter. Aber.Ich sehe uns gerade auf dem Weg dahin, dass der größere Teil der Computersysteme,entweder Modelle ausführt, die wir eh nicht genau wissen, was die machen.Die sind ja nicht deterministisch und nicht kontrollierbar.Oder der Code, der noch irgendwo läuft, von den Modellen geschrieben wurde.Und Human in the Loop, du erinnerst dich, was ich gerade gesagt habe,bei der Geheimdienstgesetzreform, da sagt das BMI auch, ja, also Qualitätssteigerungenwird das jetzt hier nicht bringen, wenn wir da einen von unseren Beamten nochmal reinsetzen.Im Zweifelsfall nicht. Da ist kein Gewinn. Lass den einfach außen vor und lass,erst draufhauen und nachher Fragen stellen. Und,ich sehe leider gerade ein Anreizgefüge für alle beteiligten StakeholderInnen.Genau das so gewähren zu lassen und diesen Weg zu gehen, da ist nirgendwo einausreichend starkes Interesse im Sichtfeld,Wo du sagen würdest, das wird's ausbremsen.Da kommen wir dann doch nicht hin. Sondern ganz im Gegenteil.Die Produktivitätsversprechen müssen eingelöst werden. Und so weiter und so fort.
Tim Pritlove 1:24:55
Trotzdem wirst du so eine Feuerschneise einziehen müssen.
Linus Neumann 1:25:01
Firewall meinst du?
Tim Pritlove 1:25:03
Keine Firewall, sondern so ein Bereich, wo das Feuer mal nicht so viel Futter hat.Also wo es nicht so schnell weiterlaufen kann, um einfach einen Flächenbrand,in irgendeiner Form auch noch unter Kontrolle bekommen zu können.Und da ist da der Human in the Loop wahrscheinlich doch die richtige Antwort.Es gab ja mal diesen alten Kalterkriegszeiten, wo es so eine Fehlmeldung gab.Dass die Amerikaner eine Atomrakete, dass jetzt gerade eine Atomrakete auf Moskaufliegen würde und ein Russe, der quasi da an dem Schalter saß,der hat dann gesagt, so, nee,glaube ich nicht, das stimmt.Macht einfach keinen Sinn an dem Moment. Ja, steht hier zwar,aber glaube ich nicht. Mache ich jetzt einfach nicht.Und natürlich kann diese Person, hätte sie auch genau in die andere Richtung entscheiden können.Trotzdem ist natürlich jetzt für diese Person in dem Moment nicht nur die reineInformation relevant gewesen, sondern auch dieses Gefühl der potenziellen Auswirkungen kann das sein,ist das jetzt nicht ein bisschen irgendwas stimmt hier nicht.So dieses Gefühl und ich glaube, das ist so wie das, was diese LLMs noch nichtdrauf haben. Einfach dieses Bauchgefühl, dass da was nicht stimmt.Und von daher müssen,solche Elemente mit drin sein.Die Geheimdienstreform wäre auf jeden Fall schon mal ganz gut damit,bestellt, hier nicht voll zu automatisieren, weil auch wenn das irgendwie reintechnisch betrachtet irgendwo Sinn ergibt, dieses Argument, ist es halt am Ende,einfach ein echtes Problem.
Linus Neumann 1:26:58
Ja!
Tim Pritlove 1:26:59
Weil es wird einfach dazu führen, dass einfach alles ausgelesen wird. Bäm!Denen laufen dann irgendwie die Agenten davon und dann wird irgendwie allesgehackt, was bei drei nicht auf den Bäumen ist.Oder bei eins nicht schon irgendwie das Internetkabel rausgezogen hat.Also, naja. Mann, Mann, Mann. Das wird nicht einfacher ja alles.
Linus Neumann 1:27:20
Ja, also interesting times?
Tim Pritlove 1:27:24
Tja, mögen wir drin leben. Mögen wir in interessanten Zeiten leben. Chinesischer Fluch.
Linus Neumann 1:27:34
Okay. Ja, also das ist eine ja ein Alarmsignal und,Ich glaube, ja, ich bin froh, dass wir es eben mal auf diesen unterschiedlichenEbenen betrachtet haben.Also das Hacking als Mittel,die Fähigkeiten, die diese Modelle eben entwickeln, nachdem sie jetzt halt genugCode gelesen haben, die bei allen, die es versucht haben, fehlgeschlagene Kontrolle,weil das Ding sich da halt rausheckt.Und ja, bin ich mal sehr gespannt, wie das weitergeht.
Tim Pritlove 1:28:15
Gut, dann schauen wir noch mal, wie es so zeitlich so weitergeht und blickenmal auf die anstehenden Termine, die wir hier noch zu verkünden haben.
Linus Neumann 1:28:23
Genau, den 3. September haben wir schon gesagt, das ist der Attention Donnerstag, 20 Uhr im Continu.Die Datenspuren sind vom 18. bis 20. September in Dresden, haben wir glaubeich schon mal angekündigt, die kündigen sich immer sehr früh an.Am 15. August hat der CFP geendet. Das soll damit auch nochmal hier mit am 26.Auch nochmal verkündet.
Tim Pritlove 1:28:48
Deswegen haben wir das so früh angekündigt.
Linus Neumann 1:28:51
Und am 16. September nee, am 26. Entschuldigung, am 26.September werden 10 Jahre Searchwing gefeiert.Und Searchwing das sind die die Suchdrohnen bauen.Für die Seenotrettung. Weil du eben, du hast das Boot, das fährt da rum.Du weißt, du bist in einer Region, wo die Wahrscheinlichkeit,dass du hilflose Menschen in Seenot findest, groß ist.Und du kannst dich natürlich in der Luft sehr viel schneller bewegen.
Tim Pritlove 1:29:27
Die guten Drohnen.
Linus Neumann 1:29:28
Weiter gucken. Und ja, ich glaube, die haben halt dann sich eben Flüglerdrohnen gebastelt.
Tim Pritlove 1:29:39
Und wo findet das statt?
Linus Neumann 1:29:42
Weiß ich gar nicht.
Tim Pritlove 1:29:43
Im Betaniendamm.
Linus Neumann 1:29:45
Am Betaniendamm, genau. Und,sie sagen nicht, wo. Ich hätte eine Idee.
Tim Pritlove 1:29:52
Aus Gründen.
Linus Neumann 1:29:53
Es gibt da nur eine Möglichkeit.
Tim Pritlove 1:29:58
Irgendwie Kreuzberg.
Linus Neumann 1:29:59
Genau. Und da soll also eine Solipathy für die Seenotrettung stattfinden,das mehr als 10-jährige Bestehen des Searchwing e.V.Wird gefeiert und das ist also in Berlin am 26.September geht um 20 Uhr los, irgendwo am Britanniendamm und dann kommt um 22.30gibt es einen Vortrag über Searchwing, wo das Projekt nochmal,erklärt und vorgestellt wird, also Vergangenheit, Gegenwart und dann gibt es ab 21.30 The Party.Mit DJs. Erstmal mit dem Chor und dann DJs.
Tim Pritlove 1:30:40
Also wenn du das bis dahin noch nicht gefunden hast, folgt einfach der Musik.Alright, Leute, dann war es das jetzt hier erstmal, die erste Bespielung und,hoffe, ihr hattet, fühltet euch unterhalten ein bisschen.
Linus Neumann 1:31:00
Und wir schreien es laut, ihr kriegt uns hier nicht raus.Das ist unser Haus.
Tim Pritlove 1:31:11
Genau, bevor Linus jetzt singt, sagen wir einfach Tschüss, bis bald.Okay, das war's.
Linus Neumann 1:31:20
Ciao, ciao.
Shownotes
Prolog
- attension-festival.de: at.tension #11 Theaterfestival
Maschinenlesbare Alternative Realitäten
- Vincent Schmalbach: TIME Is Serving AI Bots a Different Website, With Ads Built In
- MDN Web Docs: User-Agent header – HTTP | MDN
Frag den Staat und das Informationsfreiheitsgesetz
- netzpolitik.org: Dobrindt will Transparenz-Plattformen aus dem Weg räumen
- netzpolitik.org: Auch Brandenburg will Informationszugang einschränken
- WeAct: SPD, stoppt den Frontalangriff auf die Informationsfreiheit!
Carlsen gegen OpenAI
- DER SPIEGEL: »Neinhorn«: Verlag kämpft wegen Kinderbuchs gegen ChatGPT
- DER SPIEGEL: (S+) Scans für KI-Training: Kaufen und vernichten KI-Firmen massenhaft seltene Bücher?
- Wikipedia (de): Das NEINhorn
Geheimdienst-Reform
- Bundesministerium des Innern: Gesetz zur Reform des Nachrichtendienstrechts
- netzpolitik.org: „Ein erheblicher Überwachungsdruck für die Gesellschaft“
- netzpolitik.org: Maßlos, unkontrolliert und intransparent
- bundestagszusammenfasser.de: BTZusFas: Reform des BND und des Verfassungsschutzes
Hackende KIs
Termine
- attension-festival.de: at.tension #11 Theaterfestival
- talks.datenspuren.de: Datenspuren 2026
- searchwing.org: SearchWing e.V. – Building drones for sea rescue
