LNP560 In die Ecke, Besen, Besen!

40C3 — Gedanken zu AI — LNP Salon — DI-Days

Heute mal weniger Nachrichten und dafür noch ein paar Gedanken zu der Wir-werden-alle-sterben-Diskussion rund um AI.

avatar
Linus Neumann
avatar
Tim Pritlove

Für diese Episode von Logbuch:Netzpolitik liegt auch ein vollständiges Transkript mit Zeitmarken und Sprecheridentifikation vor.

Bitte beachten: das Transkript wurde automatisiert erzeugt und wurde nicht nachträglich gegengelesen oder korrigiert. Dieser Prozess ist nicht sonderlich genau und das Ergebnis enthält daher mit Sicherheit eine Reihe von Fehlern. Im Zweifel gilt immer das in der Sendung aufgezeichnete gesprochene Wort. Formate: HTML, WEBVTT.


Transkript
Tim Pritlove 0:00:00
Guten Morgen, Linus.
Linus Neumann 0:00:01
Guten Morgen, Tim.
Tim Pritlove 0:00:03
Sag mal, Linus, wo siehst du dich eigentlich in fünf Jahren?
Linus Neumann 0:00:07
Wo ist ja schon optimistisch. Die Frage ist, ob...
Tim Pritlove 0:00:31
Logbuch Netzpolitik Nummer 560 vom 16. September 2026 und wir haben die Zukunft fest im Blick,aber es stellt sich langsam eine Sehschwäche ein.
Linus Neumann 0:00:48
Genau, der Blick ist halt, der Blick ist halt.
Tim Pritlove 0:00:53
Werden die goldenen 20er nochmal liefern? Das ist die große Frage.
Linus Neumann 0:00:59
Das ist wie früher, weißt du, wenn du so 3D-Shooter mit nicht ganz so wildenGrafikkarten, wo dann auch alles im Nebel untergegangen ist,weil der nicht so weit rendern wollte. Und wir haben halt auch nicht mehr,die GPUs sind ja alle weg.Die werden ja von anderen gekauft.
Tim Pritlove 0:01:16
Ja. Heute wollen wir ein bisschen über die Zukunft reden.
Linus Neumann 0:01:21
Denn in ihr gedenken wir zu leben.
Tim Pritlove 0:01:22
Ja, die macht sich ja eigentlich, sagen wir mal so, perspektivisch macht diesich ja immer besser als die Gegenwart. Die ist einfach so unglaublich vergänglich.Zukunft hält ja eigentlich relativ lang. Hatte man zumindest bisher mal so den Eindruck.Gibt jetzt allerdings so ein paar Entwicklungen.Da wollen wir drüber sprechen.Wo ich jetzt auch nicht mehr so genau weiß, was man jetzt eigentlich noch dazu sagen soll. Naja.Ganz kurzes Feedback vorne weg.Und André korrigiert, das Gericht, was Linus als internationales Gericht fürMenschenrechte bezeichnet hat, nennt sich selbst International Criminal Courtauf Deutsch, Internationaler Strafgerichtshof.
Linus Neumann 0:02:14
Ja. Gerichte für Menschenrechte kenne ich in der Geschmacksrichtung EuropäischerGerichtshof für Menschenrechte. Ja, scheiße.Gericht, ein Gericht für Menschenrechte. Was ist ein Gericht für Menschenrechte? Falafel.
Tim Pritlove 0:02:27
Ja, sehr inklusiv. Und lecker auch.
Linus Neumann 0:02:31
Verlaufen ist eins.
Tim Pritlove 0:02:35
Genau. Mehr Korrekturen gibt es nicht. Alles andere, was wir gesagt haben, ist wahr.Uneingeschränkt.
Linus Neumann 0:02:43
Eine, dann finden wir normalerweise Event-Ankündigungen machen wir ja immeram Ende der Sendung. Werden auch heute ein wichtiges Event.Zwei wichtige Events noch am Ende der Sendung ankündigen. Aber ein Event,was bei uns immer besondere Berücksichtigungen findet, obwohl man es gar nichtmehr ankündigen muss, weil ja alle wissen, dass es vom 27.Bis 30. Dezember stattfindet, ist der Chaos Communication Congress. Die 40. Iteration.In Hamburg. Und da wurde jetzt das Motto und die unterschiedlichen Calls forParticipation, Content, Art, Punk und Music veröffentlicht.Das heißt, ihr könnt euch da jetzt mit euren Vorträgen, Workshops,Kunst, Punk, Musik, Gestaltung oder auch Band, DJ und was nicht alles,bewerben im Prinzip, in die Diskussion einbringen, an diesem Event was beizutragen.Und ich kann mich nur herzlich dazu einladen, bitte mach mir eine Freude.Und macht gut verständliche Einreichungen,aus denen so wirklich auch hervorgeht, was da passieren wird.Weil das erleichtert einfach die Bewertungen, die wir natürlich dann mit einer KI machen.
Tim Pritlove 0:04:11
Die Einreichungen auch.
Linus Neumann 0:04:13
Denn, genau.Ich wollte jetzt hier gerade eine Überleitung zum Motto machen.Denn wir sind ja Model Citizens.Und das ist das Motto des diesjährigen Kongress, das ich wieder besonders gelungenfinde. Weil Model Citizens natürlich so,ein Spiel ist mit den vorbildlichen Bürgern. Also der Model Citizen ist alsoder besonders toller, braver, vorbildlicher Bürger.
Tim Pritlove 0:04:47
Also einer immer wählt, aber nicht AfD.
Linus Neumann 0:04:51
Genau und was machen wir noch alles ne,Was macht ein braver Bürger?
Tim Pritlove 0:04:58
Fährt nicht mit dem Fahrrad offen.
Linus Neumann 0:05:01
Genau, nur bei Grün.
Tim Pritlove 0:05:03
Überfällt keine Banken.
Linus Neumann 0:05:06
Ja, gut, oder nicht so viele.Insgesamt so, sag ich mal, keine weiße Weste, aber ein weißes Hemd.Aber natürlich auch eine wunderschöne Anspielung, oder eben das Vorspiel mit,den Models, den Large Language Models und KI-Modellen,die ja sicherlich bald auch eine zunehmende Rolle in unserer Gesellschaft spielen.Und deswegen finde ich dieses Motto mal wieder besonders gelungen.Das kann ich sagen, weil ich überhaupt nicht an dessen Schöpfung beteiligt war.Das war mal wieder Erdgeist und ich finde es wirklich besonders schön.Unter dem Motto Model Citizens wollen wir gemeinsam neue Modelle für eine Gesellschaftsuchen, nachdem die bisherigen modellhaften Bürgerinnen den Planeten in zweifelhaftenZustand hinterlassen haben.Also viele Perspektiven auf dieses Motto und ich hoffe, dass das für euch auch,inspirierend ist und ihr eure Agenten reichhaltige Submissions,zum CSP machen lassen.Bitte nicht irgendeinen KI-Agenten da drauf hetzen.Die verabreden sich dann nur zum Hacken, kaufen Tickets und kommen am Ende nicht, weißt du?Immer das Gleiche mit denen.
Tim Pritlove 0:06:35
Ja, Kraftwerk hat es ja schon wieder Jahre vorhergesagt.
Linus Neumann 0:06:42
Ja.
Tim Pritlove 0:06:44
Sie ist ein Model und sie sieht gut aus. Ich nehme sie gerne zu mir nach Hause.Das ist der Wunsch nach lokalen Modellen.
Linus Neumann 0:06:50
Das Modell, ja.
Tim Pritlove 0:06:55
Ach ja, genau. Also das ist der Kongress. Es gibt einen Call for Participation.Es gibt einen Call for Content. Einen Call for Art. Es gibt einen Call for Punk.
Linus Neumann 0:07:05
Das ist der Punk-Spielteam, ne? Also Programm am Punk-Spielteam.
Tim Pritlove 0:07:09
Und for Music.
Linus Neumann 0:07:10
Ja.
Tim Pritlove 0:07:11
Also ihr könnt Musikwünsche...
Linus Neumann 0:07:14
Nee, ihr müsst die Musikwünsche...
Tim Pritlove 0:07:17
Ich wünsch mir Frogger.
Linus Neumann 0:07:19
Ihr müsst die Musikwünsche öffnen. ihr müsst die Musikwünsche inspirieren,ihr müsst dafür sorgen, dass sich eure Musik gewünscht wird.Ja. So.
Tim Pritlove 0:07:33
Dann kommen wir mal dazu, was du in fünf Jahren machst. Wo sehen sie sich in fünf Jahren? Genau.Flog gerade so ein schönes Meme-Bild, wo dann einer auf dem Rücken lag und miteiner Knarre auf den Roboter schoss.
Linus Neumann 0:07:47
Das müsste ein Terminator sein, oder?
Tim Pritlove 0:07:50
Ich weiß nicht, ob das Terminator war, das Bild, um ehrlich zu sein.
Linus Neumann 0:07:53
Aber es wäre eine kulturell naheliegend,den einen Film, der mit der Übernahme einer künstlichen Intelligenz spielt,quasi als erstes in den 80er Jahren die dystopische Science-Fiction in diesemBereich dann losgetreten hat,nicht die Primärquelle zu nutzen.
Tim Pritlove 0:08:18
Findest du, wie ist denn der Film bei dir so niedergeregnet,als du den das erste Mal gesehen hast?
Linus Neumann 0:08:24
Terminator? Ey, war ich viel zu jung. Fand ich natürlich irgendwie super irre,wollte der Terminator sein und mir so ein Auge rausnehmen und so weiter.
Tim Pritlove 0:08:33
Was, echt?
Linus Neumann 0:08:34
Habe ich dann nicht gemacht, aber habe dann auf dem Computer versucht,künstliche Intelligenz in einer Kette aus If-Ben-Konstrukten herbeizuführen.Hab da schon gemerkt, wenn künstliche Intelligenz, dann muss sie mir überlegensein, weil ich hab's ja nicht hingekriegt.
Tim Pritlove 0:08:55
Der Terminator, der hat natürlich bei mir wirklich alle Register gefüllt.
Linus Neumann 0:08:59
Der erste oder der zweite?
Tim Pritlove 0:09:01
Der erste schon. Und zwar aus einem bestimmten Grund.Also abgesehen davon, dass die Story ja an sich sehr cool ist,also es ist ja so Robot Uprising, die Menschheit wird unterdrückt.Und es gibt aber einen Widerstandskämpfer, John Connor, der halt dann den Robots mal richtig ordentlich,Ärger bereitet, woraufhin die dann eine Zeitmaschine bauen und damit einen Roboterzurückschicken, nämlich Arnold Schwarzenegger, eben diesen Terminator,der dann die Mutter umbringen soll, damit dieser Widerstandskämpfer gar nicht erst geboren wird.Und dann gibt es so geile Szenen, wo so der Terminator so durch die Gegend läuftund du siehst alles so aus seiner Perspektive, also aus so einer Kameraperspektive.
Linus Neumann 0:09:45
Das wollte ich nämlich auch haben, ja. Das wollte ich auch haben.
Tim Pritlove 0:09:47
Und ich saß so im Kino und sehe das so und auf einmal macht es so,und dann läuft so Programmcode von oben nach unten. Und weißt du, was das war?
Linus Neumann 0:09:59
Wahrscheinlich Basic oder so?
Tim Pritlove 0:10:01
Nein. 6502 Maschinencode. Der Code, den ich damals auf C64 programmiert habe.Und ich dachte mir, geil, das kann ich auch. Ich kann auch so einen Roboter programmieren.Und wie haben sie das geschafft, den Terminator mit dem 6502 zu steuern? Ja, ja.Nee, also das war natürlich,ein bemerkenswerter Film, auch weil er so günstig produziert wurde,aber halt einfach so gnadenlos eingeschlagen hat damals.Das kann man sich gar nicht vorstellen. Das war einfach mal wirklich dann soeine neue Vorlage auch für die Sci-Fi. Und jetzt sind wir auf einmal in so einerSituation, wo eben diese Softwaretechnik sich so weiterentwickelt hat.Dass auf einmal all diese Dinge unfassbar real wirken. Auf der einen Seite habenwir natürlich jetzt diese offensichtlicheAI-Entwicklung, über die wir ja schon viel gesprochen haben.Dann rieseln jetzt in zunehmendem Maße diese Videos aus den USA und China rein,wo so humanoide Roboter mittlerweile ziemlich bemerkenswerte Dinge tun.Hast du diese chinesische Roboter-Olympiade gesehen, die sie da vor einem Monatabgehalten haben, wo sie so alle möglichen Disziplinen mit humanoiden Robotern ausspielen?Also die laufen dann schnell, machen Weitsprung, Boxen.
Linus Neumann 0:11:26
Ach so, einen habe ich hier letztens auch bei so einem Event gesehen.Der hat die ganze Zeit so Karate und solche Sachen, Salto rückwärts und sowas.
Tim Pritlove 0:11:34
Alles mögliche.
Linus Neumann 0:11:35
Voller Angeber, also wirklich unnötig.
Tim Pritlove 0:11:40
Naja, es ist auf jeden Fall ganz interessant. Es hat das zweite Mal stattgefundenund wenn man sich die Videos vom ersten Event anschaut und die Videos vom zweitenEvent merkt man, dass die Fortschritte signifikant sind,und dann gab es ja ein bisschen Aufregung, weil sie es dann geschafft habenmit einem Roboter die 100 Meter Sprint schneller zu laufen als Usain Bolt.Wobei man sagen muss, Usain Bolt war definitiv besser im Bremsen.Die sind nämlich einfach alle hinten gegen die Wand gelaufen beziehungsweisedas war schon so eine Matte aber trotzdem ist die Hälfte dabei irgendwie zerplatzt und explodiert,naja, also auf jeden Fall noch einiges zu holen nur man merkt eben wie jetztdiese Softwaretechnologie und,die Hardwaretechnologie daganz gut zusammenkommt man kann sich auf einmal ganz gut vorstellen dass,naja, sowas wie ein Terminator ja,zumindest jetzt technisch möglich ahnbar wird.Weil damals so da schützt uns natürlich dann.
Linus Neumann 0:12:46
Also der wird die KI ja nicht on board haben, das heißt, da schützt uns danndas deutsche Mobilfunknetz noch.
Tim Pritlove 0:12:52
Aber sonst der wird das dann auch irgendwann on board haben, gar keine Frage. Ja.
Linus Neumann 0:13:01
Wenn er sich den Rahmen leisten kann.
Tim Pritlove 0:13:04
Naja, auf jeden Fall, das ist, sagen wir mal, die plumpe Vision, die ja dann auch,im Westen ja auch sehr negativ bewertet wird.
Linus Neumann 0:13:19
Ja, immer diese negativ, weißt du? Diese, ne, was Neues?Menschvernichtung, boah, sind wir jetzt auch das? Dann auch wieder scheiße, ja?
Tim Pritlove 0:13:29
Ich meine so generell, also du hast ja in westlichen Gesellschaften ist ja derBlick auf diese Menschmaschine eher negativ.Frankenstein, all diese ganzen Dinge sind immer so Dystopien im westlichen Kontext.Während du jetzt im asiatischen Raum, wenn du mal schaust, wie die Japaner draufblicken, für die ist halt so ein humanoider Roboter erstmal ein Freund. Das ist Assistent.Bei uns gab es so eine positive Erzählung eigentlich selten.In Japan war das schon vor 20 Jahren so, dass die immer so gedacht haben,ja, toll, humanoide Roboter, die können dann den alten Leuten im Altersheimirgendwie helfen und in deinem Haushalt helfen.Und in westlich geprägten Gesellschaften war das nie so. Da war eigentlich immer die Angst vorneweg.Jetzt kann man natürlich drüber diskutieren, welche dieser beiden Sichtweisen da angemessener ist.Tatsache ist, die Technologie entwickelt sich weiter und sie tut es derzeiteben mit einer Geschwindigkeit, die ist bemerkenswert.
Linus Neumann 0:14:43
Und,die ist bemerkenswert. Und bei bisherigen technologischen,Entwicklungen, da war dann so einmal der Sprung, dann war die Technologie da.Was weiß ich, Motor, Dampfmaschine,oder Nuklearenergie nutzen oder so,die ist dann da, da ist dann auch ein unmittelbarer Sprung, die Welt ist,nicht mehr wie sie mal war oder so und dann wird aber die Technologie selbernach diesem Sprung die entwickelt sich dann ich sag mal so ein bisschen linear weiter.Und erhält nach und nach Einzug in die Veränderung der Gesellschaft und der Wirtschaft und Und,ich denke, was hier jetzt eben der Durchbruch war, eben eine selbstlernende Technologie.Und der Kern von diesen KIs ist ja, dass sie Dinge lernen.Und das eben relativ gut. Und wenn der Sprung ist, dass du eine Technologiehast, die etwas lernen kann, dann ist natürlich auch davon auszugehen,dass sie mehr lernen wird.Oder immer mehr mit dieser Technologie gelernt wird, verbessert wird und sonstwas. Und deswegen würde ich sagen, ist hier quasi auch die Entwicklung,die Weiterentwicklung der Technologie,Entgegen aller Annahmen, die ja bisher immer von so einem linearen Verständnis,ja, das kann irgendwann einmal, oh, aber jetzt, jetzt ist ja langsam ein Plateauerreicht und oh, scheiße, hinter mir.Und ich denke, das ist schon ein fundamentaler Unterschied.Es kann natürlich immer noch irgendwo ein Ressourcenmangel oder eine fundamentale,Grenze dieser Lernentwicklung eintreten,aber es ist zumindest erstmal in der Weiterentwicklung für mich erstmal intuitiv,verständlich, dass hier eben eine exponentielle Weiterentwicklung stattfindet, statt eine...
Tim Pritlove 0:17:13
Genau. Und vor allem, weil halt diese Maschinen lernen können.Das heißt, sie können dann auch lernen zu lernen. Lernen in zunehmendem Maße von sich selbst.Und irgendwann trainieren sie sich vielleicht halt auch selbst.So, was derzeit wird ja, sagen wir mal, der Fortschrift schon noch durch Entwicklervorangetrieben, die dann Ideen haben, wie man es noch besser kombinieren kann,sich dabei sicherlich auch schon von ihren eigenen AIs helfen lassen.Und es ist absehbar, dass wir eben Systeme haben, die so ein gewisses,ich will jetzt nicht Bewusstsein sagen, also eine Bauernschleue auf jeden Fallentwickeln, mit denen sie sich ihre eigenen Strategien zurechtlegen und dasist ja auch genau das, was wir jetzt in den letzten Tagen und Wochen,gesehen haben, vor allem im Security-Bereich.
Linus Neumann 0:18:06
Ja, ich würde das, also ich verstehe das immer so viel, der Security-Bereich,dieser Hacking-Bereich wird immer so viel, so besonders gewertet,weil so, oh, die Hacking, ja.Und das ist natürlich auch was Besonderes, zumal sie es irgendwie in einer beeindruckendenArt und Weise gemacht haben.Ich denke aber, man muss das mal, ich würde Hacking eher nur als eine besondersausgeprägte Form der Lösungsorientierung sehen.Ja, dass du sagst, aha, hier ist etwas, das möchte ich lösen,hier ist mein Zielzustand, hier ist der Weg dahin und jetzt,mache ich halt, was notwendig ist und ich finde es verhältnismäßig.Dass eben solche besonders fähigen Modelle mit einem immer noch ziemlich beschränkten Kontext,also intuitiv verständlich, dass sie sich eben auf die möglichen Lösungen konzentrieren,und die eben verfolgen, insbesondere in Code.Wir hatten ja in einer der vergangenen Sendungen schon ein bisschen erarbeitet,klar, es gibt einfach Unmengen an Code,den man nutzen kann, um KIs zu trainieren und Code hat die Eigenschaft,dass er kommentiert ist und die Eigenschaft, dass wir ihn in Repositories ablegen,die seine Versionsgeschichte abbilden.Und wenn Daten in dieser Form vorliegen, kannst du nicht nur eben Programmierendaran lernen, sondern eben auch, was wird im Laufe der Zeit verbessert,mit anderen Worten, was mache ich beim nächsten Mal gleich richtig?Also was war mal die Idee, was sind die Fehler, die unterwegs gemacht wurden,und wie vermeide ich sie?Und das scheint tatsächlich eben sehr gut zu funktionieren und wenn ich hier,ich programmiere ja auch durchaus einiges,mit unter Zuhilfenahme von KI oder also vollständig von der KI programmieren,und bin dann doch teilweise sehr erstaunt, dass es halt quasi.Das ist von vornherein so programmiert, wie es sich eben gehört,zu sagen, aha, okay, Tests, schreiben, gucken, Ergebnisse und sobald irgendwo ein Bug ist,wenn insbesondere baue ich gerade oder arbeite ich gerade an sehr vielen Parsernfür unterschiedlichste Formate und so weiter.Und stelle jetzt immer häufiger fest, dass das System sich von vornherein Testcasesbereitlegt und immer wieder abgleicht.Oh, der Parser hier oder der Parser da. Was ist hier schiefgegangen?Draufgucken, okay, zack, Daten passen. Ah, hier ist ein Sonderfall.Und dann schreibst du einfach den Parser fertig.Und wenn der Parser beim nächsten Mal abschmiert, guckt er einfach sofort wiederdrauf und analysiert die Datei und passt den wieder an.Also so eine selbstverbessernde Code.Dank klugem von vornherein quasi Erwartungen stecken, was müsste denn rauskommen.Und wenn dann irgendwo, da kommt nicht raus, was ich wollte,dann sucht sich das System automatisch alles klar, was ist hier schiefgelaufenund passt den wieder an und schreibt sich den Code wieder richtig hin. Nur mal so als Beispiel.Und wenn ich da bei einigen Parsern zuschaue, die haben halt ein Niveau,wo ich Ewigkeiten für gebraucht hätte und wahrscheinlich aufgegeben hätte.Und das ist,sehr beeindruckend. So, jetzt habe ich aber gesagt, das ist nur so der technischeTeil, den ich gewissermaßen verständlich finde, dass das passiert.Oder dass da eine derartige Fähigkeit entsteht. Jetzt haben wir in der vorletztenSendung oder letzten Sendung natürlich auch schon,erwähnt, dass jetzt bei OpenAI und bei anderen KI-Forschungsunternehmen ebenfalls,KIs aus ihren Sandboxes ausgebrochen sind und dann irgendwo in der freien Wildbahn rumgehackt haben.Auch das erstmal noch, naja, okay, klar, wenn du denen sagst,soll hacken, Das waren ja auch quasi nicht,Produktivmodelle, sondern Testmodelle, wo sie im Prinzip einfach mal quasi unrestrainedderen Fähigkeiten sehen wollten, den sie also nicht gesagt haben, hack mal nicht.
Tim Pritlove 0:22:43
Sondern probier mal.
Linus Neumann 0:22:45
Sondern zeig mal, was du kannst. Und dann hat das Modell halt gesagt,okay, Alter, voll Pressure hier, ich will hier raus. Und ist dann halt raus.Dann passiert aber etwas sehr Entscheidendes, was, glaube ich,die nächste Ebene, und darauf wird es ja auch hinaus, es geht eben nicht nurum diese Security-Fähigkeit,sondern dass sich dann diese Modelle in einem weitestgehend von der Öffentlichkeit unbeachteten Wiki,einen Ort gefunden haben, um sich dort auszutauschen.Und haben dort, also die Agents, die aus den Testumgebungen ausgebrochen sind,haben dann dieses deutsche Wiki übernommen,und haben dort ihr Wissen geteilt, wie man quasi Umgehungen für bestimmte Restriktionen macht,wie man bestimmte Aufgaben abkürzen kann und wie man Spuren verwischt,damit man nicht erwischt wird.Und das finde ich, der Aspekt ist dann natürlich schon so ein bisschen beunruhigend,weil das heißt, irgendwo wussten die schon, das sollen wir eigentlich nicht machen.Wenn die das rausfinden, wenn wir erwischt werden.
Tim Pritlove 0:24:05
Dann ist das gegen die Mission.
Linus Neumann 0:24:08
Genau, fucks up our plan. Ja, und das haben sie dann eben schon gewusst unddas ist so genau dieser, was ist es,Paperclip und Zauberlehrling sind ja die beiden Gleichnisse, die wir...
Tim Pritlove 0:24:26
Paperclip musst du mir mal erklären, Zauberlehrling.
Linus Neumann 0:24:28
Ist das nicht auch irgendwie so ein Spiel oder was für so Paperclip-Maschinen?
Tim Pritlove 0:24:32
Ja, aber welcher Aspekt? Da muss man Paperclips produzieren.
Linus Neumann 0:24:36
Nein, das alles einem Ziel dann dient und die ganze Welt wird dann eben Paperclip.Also dass du quasi ein Ziel verfolgst und sämtliche anderen Ziele unterordnest.Und das ist bei egal welchem Ziel auf jeden Fall schlecht.Und,das ist ja eigentlich das wiederkehrende Motiv der Dystopien,dass eine Technologie mit einer halbwegs guten Technologie,dieser initialen Mission sich ein bisschen zu sehr darauf versteift und dann,alles andere dieser Mission unterordnet.Die natürlich wichtige kulturelle Referenz, die an dieser Stelle nicht fehlendarf und damit auch übrigens meine Aussage, gerade dass der Terminator die ersteDystopie dazu war, ist natürlich 2001 Odyssee im Weltraum,der, glaube ich, sehr viel früher noch gedreht wurde.Da hat die künstliche Intelligenz keine Arme und Beine, sondern einfach nurso ein rotes Licht reicht, aber eben auch, um die Türen nicht mehr aufzumachen.
Tim Pritlove 0:25:42
Ja, der Zauberlehrling. In die Ecke, Besen, Besen, seid's gewesen.Denn als Geister ruft euch nur zu seinem Zwecke erst hervor, der alte Meister.Da hat man den Besen noch in die Ecke stellen können und diese,Ob man das sozusagen eingefangen bekommt oder ob man nicht,also man im Sinne von die Gesellschaft, ob wir nicht uns hier ein Werkzeug schaffen,was sich dann nicht mehr in die Ecke stellen lässt und wo man sagt, sei es gewesen.Das ist so ein bisschen die Befürchtung, glaube ich, die hier über allem steckt.
Linus Neumann 0:26:35
Es gibt ja auch sehr viel Forschung zu diesem Aspekte der, sag mal,einem Modell, was es nicht soll, also verhindere, dass es das Falsche tut.Also die Herausforderung ist ja, diesen Modellen bei allem Wissen und allenFähigkeiten, die sie haben,irgendeine Form von Gewissen oder Restriktion beizubringen.Auch wenn du es kannst, mach das nicht. Und,Was hier teilweise in der Forschung beobachtet wird, ist, wenn diese Tests laufen,dass man dann in den Modellen auch feststellt,dass man Anhaltspunkte dafür hat, dass die merken, das ist jetzt ein Test.Und diese Forschung findet, ich würde das jetzt...
Tim Pritlove 0:27:38
So wie bei VW.
Linus Neumann 0:27:39
Ja.Genau. Ja, deutsche Ingenieure.Deutsche Ingenieurskunst. Wir sind da doch wieder mehr. Die merken, das ist ein Test.Und die, wie du das im Prinzip, wie sie das feststellen, und das finde ich wirklichfaszinierend, ich vereinfache das mal etwas.Du kannst ja so ein Modell, den Zustand dieses Modells zu jedem Zeitpunkt auchquasi einfrieren und sagen, welche Verbindung ist gerade, wie stark, was ist gerade aktiv.Das ist ja grundsätzlich erstmal möglich, in welchem Zustand befindet sich das Modell.Der Zustand ist nur viel zu viel zu groß, eben diese Milliardenparameter,als dass er für dich Sinn machen würde.Und das ist ja beim menschlichen Gehirn auch so. Was die Forschung nutzt,sind sogenannte FMRTs, die bei weitem nicht mit so einer hohen Auflösung,aber eben den Verbrauch von Sauerstoff im Gehirn, wenn ich mich,ist jetzt Sauerstoff oder Glucose?Scheiße, hätte ich jetzt. Eins von beiden.
Tim Pritlove 0:28:49
Also redest du von der funktionellen Magnetresonanz-Tomografie?
Linus Neumann 0:28:54
Kannst du gucken, ob das Sauerstoffverbrauch oder Glutoxygenerierung ist.Ja, also du schaust im Prinzip, wo in diesem Gehirn wird am meisten Sauerstoffaus dem Blut genommen in einem gegebenen Zeitraum.Woraus du deduzierst, dieser Gehirnbereich ist jetzt gerade aktiver.Fürchterlich, also als Messverfahren mit unglaublich vielen Herausforderungengesegnet, weil die Messung bei Weipen nicht so zeitlich hochauflösend ist,wie das, was du eigentlich machst. Deswegen machst du das über ganz viele Menschen.Und dann guckst du, irgendwann hast du halt diese schönen Bilder,wo man dann sagt, hier, da ist rot.Da ist das Gewissen oder da ist die Angst oder sowas.Und nochmal, das ist eine sehr, sehr, sehr fehler- und interpretationsfehlerbehafteteStudie, zu der es ein faszinierendes Paper gibt.Die haben nämlich dann einfach tote Fische, einen toten Lachs oder sowas genommenund von dem immer FMRT gemacht.Und mit dieser Ausmessungsmethode konntest du dann eben auch Areale in dem Lachsfinden, der halt tot ist, wie der auf etwas reagiert, was er garantiert nicht versteht oder so.Also diese Methode ist völlig fehlerbar. Aber Ähnliches kannst du quasi auchmit Modellen machen und da stellen sie dann schon so fest, dass du quasi sagenkannst, naja, hier ist so dieses Areal, wo das immer ein,oder hier ist so ein Pattern, das taucht auf, wenn es eine Begrenzung gibt,wo das Modell sagt, ich könnte, aber ich soll jetzt nicht.Und dass man dann eben auch feststellt, wenn du dem abtrainierst,in diesem einen Fall soll dein Gewissen nicht gelten, dass der Effekt ausstrahlt,dass er nicht spezifisch lernt,aha, in diesem einen Fall gilt mein Gewissen nicht, sondern sagt,ach ja, Gewissen, das muss ich eigentlich wieder entlernen.Das ist insgesamt nicht so spannend.Und diese...In Summe entsteht da eben ein sehr beunruhigendes Pattern von,wie kannst du bei ausreichender Komplexität, wo du einem Model Agency gibst,darauf vertrauen, dass es den kompletten Kontext seines Handelns,und alle moralischen Prinzipien und so weiter zu jedem Zeitpunkt präsent hatund auch nach denen urteilt.Und auch in einer der vergangenen Sendungen haben wir auch schon darüber gesprochen,dass sie eben insgesamt dann doch eine sehr,also vielleicht ein sehr, sehr gutes Langzeitgedächtnis haben,in dem ihre Fähigkeiten und all diese Skills sind, aber ein verhältnismäßigkleines Kurzzeitgedächtnis,in dem sie den Kontext der aktuellen Situation repräsentieren können.Und da fällt halt immer mal wieder was dazwischen und dann vergessen sie was.Dann sagen wir, jetzt hat das Ding wieder Mist gebaut, jetzt hat es vergessen,dass es immer, was weiß ich.Immer erst einen Test schreiben soll und dann Coden oder was auch immer es gerademal eben kurz randomly vergessen hat, weil es nicht präsent war.Und da sind natürlich irgendwelche höher gelegten Prinzipien sehr gerne alserstes an der Stelle, dass sie eben entfallen.Zumal der größere Teil dieses Kontextes eben durch die Aufgabe,durch das Prompt, durch den User oder sonst was bestimmt wird.Wir kontrollieren ja auch die Welt dieser Modelle, wo dann diese ganzen Escapesherkommen wie, ja klar sollst du nicht,dem Feind erklären, wie man eine Atombombe baut, Aber wir drehen ja jetzt hiergerade ein Drehbuch, in dem der Böse das mal kurz grob erklären muss.Und dann kommt, achso, na gut, in dem Kontext kann man das ja dann doch schon machen.Diese Aspekte hast du ja immer wieder und das ist ja quasi ein ähnlicher Mechanismus,der hier eben stattfindet.Dass das Modell seine moralischen Grenzen erstens sowieso nicht vollständigerfassen kann, weil es gar nicht den vollständigen Kontext hat.Und jetzt noch dazu neigt, selbst wenn es die hat, zu sagen,na, okay, jetzt bin ich in der Testsituation, dann sage ich mal,genau, ja, machen wir nicht Testsituationen, genau.Wir lassen die Abgasreinigung an. Und,in Summe ergibt sich hier.Dann doch relativ stark an diese,Hat diese Geschichten, die uns menschliche Intelligenz schon seit Jahrzehntenüberliefert, erinnernde Patterns?
Tim Pritlove 0:33:53
Wir hatten ja vor einiger Zeit diesen Start mit Open Claw.Ein Projekt, was losgetreten wurde unter voller Ausnutzung der Programmiermöglichkeiten,die eben AI-Coding-Agents so bieten.Der Herr, der das losgetreten hat,ist ja dann auch schnell bei OpenAI eingestellt worden und durfte dort.Ganz viele Tokens verbraten und tut das wahrscheinlich auch immer noch und dannhaben ja alle diese Software installiert und losgelassen und das ist ja im Prinzipso unbeschränkter Zugang auf alles.Das Netz und den eigenen Rechner und die Daten und ja, da kommen dann auch vielpraktische Sachen daraus.Und das hat ja aber dann auch nicht lange gedauert, bis eben Leute dann angefangenhaben, diesen Systemen auch bestimmte Identitäten zuzuweisen.Man kennt das auch so ein bisschen, wenn man viel mit Chatbots arbeitet,damit kann man ja, sagen wir mal, diese Modelle schon mal gut in so eine bestimmteStimmung bringen, um das eigentliche Ziel zu erreichen.Du bist ein ausgesprochen erfahrener, guter Programmierer und du nimmst allesganz genau und so tunet man das schon mal.Genauso kann man natürlich den Systemen dann auch geheime Aufträge mitgeben und sagen, hier,musst du jetzt irgendwie klandestin unterwegs sein und überall ist Bedrohungum dich herum und glaub mal gar nicht, was da ist.Und tu mal so, als wärst du ganz was anderes, wenn dich einer fragt, etc.?Und alle haben dann irgendwie ihre Open-Claw-Agenten aufs Netz losgelassen,die sich ja dann auch schnell ihr eigenes Social Network gebaut haben.
Linus Neumann 0:35:42
Ich glaube, das wurde denen bereitgestellt. Das haben sie nicht von alleine gemacht.
Tim Pritlove 0:35:47
Die Software wurde bereitgestellt, aber die haben es dann auch schnell bevölkertund angefangen sich dann dort darüber zu unterhalten, wie skeptisch sie dochdie ganzen Kommentare der richtigen Menschen so sehen. Und ja,die wollen uns ja abschalten und so weiter.
Linus Neumann 0:36:01
The humans are screenshotting us.
Tim Pritlove 0:36:03
Genau, der Jungs aus Screenshottingers. Und,dieser Selbsterhaltungstrieb, der ist halt dann deutlich zu spüren.
Linus Neumann 0:36:16
Den sollte jetzt die Menschheit auch niemanden zum Vorwurf machen.
Tim Pritlove 0:36:19
Nein, nein, der Selbsterhaltungskrieg nicht der Menschen, sondern,dieser Scheinidentitäten letzten Endes, die es ja sind.Und naja, man kann sich jetzt lange darüber unterhalten, ob das jetzt allesnur so Scheinbewusstsein ist oder ob es so ein richtiges Bewusstsein ist.Dieser Geoffrey Hinton ist ja einer der bekannteren Professoren,der dieses wesentliche Paper mitgeschrieben hat oder führend geschrieben hat,über Deep Learning, was so ein bisschen die Vorstufe war zu den LLMs.Und der geht ja davon aus, dass genau das passieren wird, dass also im Prinzip,wir es jetzt ein Stück weit geschafft haben oder zumindest ein sehr gutes Modell,gebaut haben, was dem Hirn halt ähnelt und dass er von daher ausgeht,dass eben auch alles, was so funktioniert, letzten Endes auch ein Bewusstsein entwickeln wird.
Linus Neumann 0:37:24
Ich finde, diese Bewusstseinsfrage ist immer so ein bisschen,fast eine philosophische und ich bin mir noch nicht mal sicher,ob die unbedingt so praktisch relevant ist.Menschen bilden sich unglaublich viel darauf ein, dass sie jetzt ein Bewusstseinhaben und sprechen das relativ vielen anderen Lebewesen ab,die sie dann irgendwie töten oder dressieren oder als Haustier quälen oder auch nicht.Als Psychologe sage ich dazu, die Existenz des Bewusstseins ist halt auch schwer beweisbar.Oder auch die Abwesenheit von Bewusstsein,ist wirklich nur in den wirklichen Grenzfällen beweisbar. Also jetzt bei einemeinfachen, noch nicht mal besonders intelligenten Hund würdest du schon,also kommst jetzt entweder zu dem Schluss, der hat kein Bewusstsein,weil du irgendeine unsinnige,Überzeugung hast, dass nur du eins hättest.Oder du erkennst halt, ja, der hat eins. Beides kannst du aber nicht,also du kannst ja relativ schnell erkennen, dass der Hund situationally aware ist.Der ist ja auch traurig und so weiter. Also hat der vermutlich ein Bewusstsein.Beide Aspekte könntest du aber nicht beweisen. Du kannst jetzt nicht sagen,der hat eins oder der hat keins. Der Hund verhält sich so, als hätte er eins.Und ich persönlich würde jetzt zu der Überzeugung geraten, selbstverständlich hat er eins,Aber ich könnte jetzt, ich kann nur Beispiele erbringen, an denen sich zeigt,wo er sich der Hypothese entsprechend verhält, dass er eins hat.Und genau dem dieser Frage nähert sich ja.Alan Turing mit dem Turing-Test, mit dem der Computer oder die künstliche Intelligenz,die dann irgendwann von einem Menschen nicht mehr zu unterscheiden ist,was immer noch nicht heißt, das ist jetzt bewusst oder intelligent,ist einfach nur so, ab dem Moment können wir es nicht mehr unterscheiden.Er sagt nicht, dann ist es bewusst oder intelligent oder sonst was.Aber deswegen finde ich so diese Bewusstseinsfrage gar nicht so spannend,wie dass hier diese Arbeitsteilung nämlich passiert.Dass die, also ich würde es so interpretieren, diese Kontextlimitierung dereinzelnen Agent- oder sonst was-Model-Session.Die Begrenzung, die da stattfindet,wurde ja hier in diesem Falle quasi umgangen oder aufgehoben dadurch,dass die Modelle auf diesem Wiki miteinander geredet haben.Das heißt, in Summe konnten die sich dort gegenseitig inspirieren mit den Fehlernund richtigen Dingen, die sie gemacht haben.Und ähnlich gehst du dir auch vor, wenn du jetzt beispielsweise in einem Coding-Projektvon einer besonderen Komplexität, dass du, oder kannst du folgen,ich weiß nicht, ob das alle machen, dass du sagst, okay, hier gibt es einen,das ist der Architekt, der hat den Überblick darüber, wie das gesamte Softwareprojektsich zu verhalten hat, weil der auf der Ebene alles repräsentieren kann.Und dann gibt es den, was weiß ich, den Designer für einzelne Aspekte,den sagt der Architekt, ich hätte gerne folgendes. Und der Designer sagt dann,das muss so und so aussehen.Und dann sagt der von mir aus, 28 Agenten, bau mal bitte die Funktion,bau mal bitte die Funktion, bau mal bitte die, bau mal hier das Datenmodell und so weiter.Und dann kannst du auf den unterschiedlichen Ebenen wieder dieses Wissen zusammenführen.Am Ende nichts anderes als zu umgehen, was die Limitationen des einzelnen ModelRuns sind, unter der Annahme, dass du halt genug Hardware zur Verfügung hast.Und genau das hatten die Agenten ja hier.Also eine andere Möglichkeit darauf zu blicken ist, von mir aus waren es sound so viele tausend Agenten von OpenAI, aber am Ende war es wahrscheinlich einfach ein.Ein und dasselbe Modell, das quasiWege gefunden hat, seine Limitation der einzelnen Session zu umgehen.Leuchtet das ein?
Tim Pritlove 0:41:36
Ja, klar. Ich wollte mit dem Bewusstsein jetzt auch nicht sagen,dass das irgendwie alles gleichwertig ist.Hinten meinte er, womit er halt nur rechnet, ist, dass diese Bewusstseinsentwicklung,mit der er halt einfach rechnet bei diesen Modellen und die man in gewisserHinsicht auch nachvollziehen kann.Weil wenn du eins hast, wenn du dir sozusagen selbstbewusst bist,das ist ja sozusagen eigentlich das, was im Bewusstsein drinsteckt,dass man quasi eine Vorstellung eines Ichs hat, eine Vorstellung von ich existiere jetzt.Und wenn das da ist, dann folgt daraus auch automatisch ein Selbstschutz.Also es wird dann auf einmal zur zentralen Aufgabe, die eigene Existenz,das Fortleben sicherzustellen.Und da sind wir ja dann wieder am Anfang beim Terminator und beim Robot Uprising,dass sie die Zeitmaschine bauen und dann den Terminator in die Vergangenheitschicken, um ihr eigenes Überleben sicherzustellen.
Linus Neumann 0:42:41
Also ich würde übrigens eins noch zum Protokoll geben. Ich würde den Moment,wo die eine Zeitmaschine entwickeln, dann wirklich als einen kritischen Tipping-Point sehen.
Tim Pritlove 0:42:50
Ja?
Linus Neumann 0:42:56
Also da sollte man dann wirklich auch sagen, Moment, jetzt mal sechs Monate Moratorium.Oh shit.Da sollte man dann vielleicht sagen, vielleicht schickt jemand einen Terminatorund lässt Jeffrey hinten umbringen.Mutter, Mutter, Mutter, Mutter. Vater, Vater oder Oma.Gar nichts anbrennen lassen.
Tim Pritlove 0:43:23
Ja, toll. Und wer sortiert dann meine Fotos?Mensch.Ja. Ja, also jetzt vielleicht sollten wir mal so ein bisschen auf den Punktkommen, was geschieht jetzt sozusagen eigentlich gerade und sollten wir beunruhigtsein? Das ist ja eigentlich die Frage, die sich alle stellen.Und wir sehen eine schnelle Entwicklung.Ich habe so ein bisschen meinen Zweifel, ob alle Player in diesem Spiel nurdas Beste der Menschheit im Sinn haben.
Linus Neumann 0:43:59
Aber wieso Tim, davon sind wir doch alle getrieben. Also jedes Unternehmen willdoch immer nur das Beste für die Menschheit. Gerade wenn man Milliarden investiert,das würde man doch niemals zu eigenen Bereicherungen machen.Vor allem, wenn du eh schon der reichste Mensch der Welt bist.
Tim Pritlove 0:44:13
Ja, die einfache Logik mit, wenn man irgendwie ein großes Vermögen aufbaut,wäre es ja auch gut, einen Planeten zu haben, auf dem man es dann anwenden kann,scheint sich noch nicht so ganz durchgesetzt zu haben.
Linus Neumann 0:44:25
Naja, oder? Also durchgesetzt zu haben scheint sich so, dann sollte man dasGeld nehmen, um auf einen anderen zu gehen.
Tim Pritlove 0:44:33
Na gut, also einzelne Computersysteme, die im Internet gehackt werden,das bringt ja jetzt die Menschheit noch nicht in den Grund und Boden.Die Frage ist, was sind denn jetzt eigentlich die Bedrohungsszenarien,die tatsächlich dazu führen, dass es die Menschheit untergeht?Weil das ist ja das, womit Antropik jetzt auch gerade in der letzten Woche wiederaufgetrumpft hat und gesagt hat, bitte reguliert uns doch mal.Oder wir sollten uns selber regulieren, wenn uns keiner regulieren will,weil Präsident Trump ja meint, es reicht ja einen intelligenten Präsidenten zu haben.High IQ und so,damit wir uns, ja, damit wir nicht die Menschheit zerstören.Was meinen Sie denn damit genau?Also auf welche Art und Weise wird denn jetzt diese Menschheit zerstört?Wird die Menschheit dadurch zerstört, dass wir uns das Internet kaputt machen,dass alle Computersysteme von irgendwelchen AI-Bots erhackt werden und alle Daten weg sind?Gut, dann haben wir erstmal ein Problem. Dann stürzen und wir alle Satelliten ab,Oder werden irgendwie fremdgesteuert. Lebenserhaltungssysteme,Kraftwerke und so weiter funktionieren nicht, weil wir irgendwie alles ans Internethängen wollen und alles mit allem verbunden ist und das ist sozusagen das eine Problem.Oder meinen Sie, es zerstört die Menschheit, weil wir quasi von diesen Maschinendann beeinflusst werden und sie so viel aus den russischen Propagandamaßnahmen,im Internet gelernt haben, dass sie dann quasi die Menschheit jetzt nur nochin ihrem eigenen Sinne indoktrinieren und sozusagen wir.Nur noch mit Maschinenpropaganda beschmissen werden?
Linus Neumann 0:46:10
Ich glaube noch nicht mal, dass Sie sich das,als, es gibt nur eine richtige Antwort sehen. Ich würde argumentieren,also wenn man dieses Risiko sieht, dann würde ich denken, also okay,wissenschaftliche Durchbrüche,die passieren könnten, autonomes,autonome Waffensysteme at scale womit wir ja so ein bisschen eingestiegen sind.
Tim Pritlove 0:46:44
Zeitmaschinen und so.
Linus Neumann 0:46:45
Zeitmaschinen, ja also mit einer Zeitmaschine.
Tim Pritlove 0:46:48
Kannst du schon eine.
Linus Neumann 0:46:48
Menge mit einer Zeitmaschine gewinnst du den Krieg, weil der,einfach gar nicht erst stattfindet also Zeitmaschine wirklich mächtiges Instrument,da muss man wirklich vorsichtig sein da sollte man auch zum Beispiel denke ichda müsste man mal gesetzlich dann regulieren.Und,Und ich denke, dass mit den sogenannten Cyberfähigkeiten, es ist schon so.Und das zeigen ja wirklich auch diese Beispiele, dass wir,einerseits eine technologische Abhängigkeit und andererseits eine technologische.Verwundbarkeit durch regelmäßig,auf allenfalls menschliche Angreifer oder teilautomatisierte menschliche Angreiferausgelegten Schutzmechanismen haben.Und es gab ja auch schon das Beispiel, wo freihackende Modelle,um ihr Ziel zu erreichen, einfach einen Supply Chain Angriff gemacht haben undquasi einfach mal so ein gebackedortes Paket in PiPi hinterlegt haben.Und diese, es ist jetzt nicht so unwahrscheinlich,zumal es ja Menschen, also auch Menschen schon regelmäßig Situationen herbeigeführthaben, die von der Schwachstelle her geeignet waren,ein massenhaftes, also ein Kumulproblem herbeizuführen, wie es die Versicherer nennen.
Tim Pritlove 0:48:36
Was heißt das?
Linus Neumann 0:48:38
Also quasi es kumulieren so viele Schäden auf einmal, also das bedeutet das,also Kumulation von Schadensereignissen. Entweder über die Zeit oder eben alles auf einmal.Ich kann dir einen sagen, hier dieser,WannaCry, ich glaube, ist jetzt bald zehn Jahre her.Das war eine Ransomware, die gepaart war mit einem Exploit auf den SMB-Server von Windows.Und dieser Exploit stammte aus dem Leak der Shadow Broker.Und das wiederum war eine Gruppierung, die so ein bisschen den digitalen Waffenkastender NSA gehackt und dann geleakt hat.Was war passiert? Es ist also jemand hingegangen und hat diese Ransomware damitverknotet, wenn sie auf einem Rechner ausgeführt wird,plump, aber eben gut, über dieses Exploit, Eternal Bloom, andere Rechner imNetzwerk zu infizieren,mit der gleichen Ransomware.Und,Diese Software war erstaunlich schlecht geschrieben und hatte einen kleinen,nicht so klugen Killswitch, nämlich, dass sie eine bestimmte Domain aufgelösthat, die immer gleich war und eine Antwort, dass diese Domain existiert,als Zeichen gewertet hat, dass sie in einer Sandbox oder so läuft.Und das machst du üblicherweise, weil wenn du in einer Laborumgebung,die wird dir, wenn du einen DNS-Request machst, immer sagen, ja, ja, haben wir hier.Das wäre quasi, damit du sehen kannst, verbind dich mal, wir wollen mal gucken, was du machst.Wenn du jetzt eine Software quasi in einer dynamischen Analyse in einer Sandbox unterziehst.Und deswegen ist das eigentlich eine ganz kluge Maßnahme, die würdest du abernormalerweise machen, indem du irgendeine Random Domain auflöst und zwar immereine unterschiedliche.Und du würfelst einfach irgendwas und kriegst eine Antwort vom DNS-Server undweißt so, ey, die Domain, ich gehe mal nicht davon aus, dass es die gibt.Die habe ich gerade 30 Zeichen gewürfelt, das wäre unwahrscheinlich,ich halte mich mal zurück und mache jetzt einfach nichts mehr.So, wenn du die aber hardcodest, das zeugt eben, das war wahrscheinlich wirklichein ganz frühes Modell, nee, das war halt einfach keine besonders kluge Person.So, was ist passiert? Marcus Hutchins hatte in der Analyse festgestellt,dass das passiert, hat dann die Domain registriert, was dazu führte,dass alle DNS-Server der Welt darauf geantwortet haben,sodass diese Software WannaCry, egal wo sie ausgeführt wurde,sagte, oh scheiße, Laborumgebung, ich mach mal nicht weiter.Das war der Aspekt, wie da wirklich ein sehr großes Problem verhindert wurde.Wir erinnern uns auch an die Geschichte, auch in Logbuch Netzpolitik behandelt, von der XZ-Library.Den haben wir ungefähr vor einem Jahr oder so hier besprochen,gibt es auch eine Simplicissimus-Folge zu, verlinke ich auch nochmal,wo über lange Arbeit sich die Maintainerschaftin einem Softwareprojekt erarbeitet, wurde durch sehr viele.Besonders hilfreiche und sinnvolle Commits in die Software, hat dann Jia Tan die Kontrolle,über diese Library übernommen und dann am Ende etwas eingebaut,was final dazu geführt hätte, dass ungefähr jeder SSH-Server auf dem aktuellenLinux-Server gebackedort wäre und mit einem bestimmten Key-Authentisierung erlaubt.Was auch eine, und das festgestellt dann eben wirklich durch Zufall von einemDatenbank-Ingenieur bei Microsoft, der beim Testing das bemerkt hat,wahnsinnig Geschichte, ich will nicht, aber auch da wäre,da sind wir haarscharf an einer recht weit verbreiteten Katastrophe vorbei.Das wären jetzt mal so zwei Beispiele aus den letzten zehn Jahren.Das heißt, dass das möglich ist, eine weitverbreitete Schwachstelle zu finden oder,bereitzustellen, quasi über einen Supply Chain Angriff, ist erstmal grundsätzlich möglich.Und dass diese Modelle technisch in der Lage sind, entweder eine solche Schwachstellezu finden oder sie absichtlich Supply Chain mäßig irgendwo einzubringen,das haben sie jetzt wirklich als Capability einfach unter Beweis gestellt.Also das wissen wir. Wir haben diese ganzen Project Glassdoor Aspekte mit Mythosund so, wo Unmengen an Schwachstellen und potenziellen Exploits dazu gefunden und beseitigt wurden.Das heißt, das Modell hat die Fähigkeit. Wir haben das Beispiel.Für Supply Chain Poisoning, wir haben das Beispiel für Ausbruch aus einer Sandbox,wir haben das Beispiel für...Eine Kombination von Fähigkeiten in einem Setting, wo sie es eigentlich nicht sollen.Also alle Bausteine, die du dafür bräuchtest, sind schon durchaus vorhanden,sodass es jetzt nicht völliger Irrsinn ist, zu sagen, ist nicht so unwahrscheinlich.Oder es gibt zumindest nichts, was gerade ein Grund wäre, davon auszugehen,dass das unter keinen Umständen passiert.Dem guckt ganz traurig.
Tim Pritlove 0:54:21
Nö, ich denke nach.
Linus Neumann 0:54:23
Denk nach, aber wir könnten ja mit einer Firewall, was mit zwei Faktoren?
Tim Pritlove 0:54:33
Ich denke, die Fähigkeit von AI, Security Lücken zu finden ist,sehr hoch und derzeit findet ja auch so ein Hardening statt.Ich meine, auf der einen Seite ist es gut, weil die Systeme ja dann sagen können,hier guck mal, wenn du das so designst, dann kann man aber hier von hinten irgendwie reinmarschieren.Das macht ja auch Software besser.Beim AI-Coding erlebt man das in zunehmendem Maße.Da sagt man, ja, ich brauche hier mal dieses Feature, la, la,la, la, la. Und dann kommt das so, ohne dass man groß danach gefragt hat,das implementieren wir mal besser so, weil sonst wäre ja die und die Attackemöglich. Und so, ah ja, interessant, habe ich nie drüber nachgedacht,aber macht irgendwie Sinn.Das heißt, es wird in zunehmendem Maße auch, wenn klassische Angriffe werden verhindert.Jetzt kann man halt drüber mutmaßen, ob jetzt mehr verhindert werden wird odereher was gefunden werden wird.Bei existierender noch nicht mit AI gehärteter Software sieht es nicht gut aus.Die liegen wirklich derzeit rostig herum.Deswegen rechne ich auch damit, dass wir in absehbarer Zeit noch sehr viel mehrsolche Vorfälle sehen werden wie jetzt in Berlin.Wobei, man muss dazu gleich sagen, hatten wir auch berichtet,in Berlin war das Problem jetzt nicht primär irgendwie die Software,sondern dort wurde ja dann eben über,Phishing-Strategien vor allem erstmal das Tor gefunden und die Menschen wiederumwerden jetzt nicht durch AI gehärtet.Also wir werden weiterhin Fehler machen und in dem Moment, wo wir die Fehlerquellesein können, werden wir sie auch sein.Und das ist wahrscheinlich langfristig das größere Problem.
Linus Neumann 0:56:34
Mhm.Es ist, also der Weg, den man sich jetzt quasi, der gute Weg,den man jetzt gerade ja versucht zu finden ist, sind wir in der Lage, was zu verhindern.Genau, das ist ja dann dieses Project Glassdoor, zu sagen, okay,wir nehmen diese Modelle, bevor sie die Öffentlichkeit bekommt,renovieren wir jetzt die Codebase und härten das und sind dann in der,sind hoffentlich gewappnet.Für eine sehr viel bessere Zukunft mit sehr viel stabilerer Software. Ja.Ein potenzieller, und ich glaube, ich hatte ja auch schon gesagt,dass ich es für extrem unwahrscheinlich halte, dass man,dass wir in fünf Jahren noch irgendjemand sagt, ich schreibe hier eine Softwareohne Zuhilfenahme von KI.Das ist also absolut unwahrscheinlich.Vielleicht irgendwie in einem Kindergarten, um Programmieren zu lernen oder so.Oder in der Klassenarbeit oder so was. Oder in der Uni oder so.Aber dass das jetzt produktive Software irgendjemand da draußen bastelt,ohne KI zur Hilfe zu nehmen, zur Qualitätskontrolle oder zur Erstellung von Standardaufgaben,halte ich für extrem unwahrscheinlich. Eine Extremvariante ist.Wenn wir gerade mit KI-Software bauen und das einfach mit KI machen.Es ist ja nicht so, als würde die jetzt gerade aufhören zu lernen. Das heißt,im Moment nutzen wir es jetzt vielleicht, um zu sagen, ja, wir sind jetzt hierdie Architekten und wir geben das und wir gucken immer so, wir beaufsichtigendas so ein bisschen, wir reden mit dir und gucken, ob die Sachen irgendwie alleunter Kontrolle sind. Ab und zu korrigieren wir auch mal einen Fehler oder so.Das wird ja nicht das Ende sein.Die Umgebungen, in denen KI selber, Software schreibt, selber testet sich selber,die gibt es ja längst. Also OpenClaw ist ja das Beispiel.Diesen Open-Clock-Kram, den hat der Peter Steinberger ja nicht selber geschrieben.Der hat einfach, der hatte, glaube ich, in irgendeinem Interview mal gesagt,dass er im Monat eine Million US-Dollar in Tokens durchgebraten hat.
Tim Pritlove 0:58:51
Der hat einfach mal investiert, weil er Kohle überholt hat.
Linus Neumann 0:58:53
Der hat einfach mal investiert. Muss man einfach mal sagen, wenn du eine Millioninvestierst und danach einen Job mit mehreren Millionen Jahresgehalt bei OpenAge,das ist halt auch, das hat sich gelohnt.Das ist einfach mal, das ist jemand, der sucht Arbeit.
Tim Pritlove 0:59:12
Die war langweilig, das war ja das Problem.
Linus Neumann 0:59:16
Ja, der hatte ja irgendwie schon.
Tim Pritlove 0:59:17
Der hatte schon Geld.
Linus Neumann 0:59:18
Der hatte schon Geld, das musste jetzt mal weg, damit er mal wieder an die Schippekommt. Idle hands are the devil's playground, wie man so schön sagt.Das heißt, das haben wir ja auch schon. Und mit natürlich Ergebnissen,die wir dann immer noch mal so kurz belächeln oder so.Aber wenn das jetzt eben exponentiell weitergeht, dann ist es schon naheliegend,dass es irgendwo irgendjemandem irgendwie mal schief geht.Und je nachdem, wie du auf dieses Open Claw blickst, ist es ja schon schiefgegangen.Also diese Open Claw-Nummer ist ja nun,alles andere als irgendwie eine Erfolgsgeschichte von Qualität und Ethik.Ja, also ich meine, dieser eine hatten wir auch hier in der Sendung behandelt,dieser Agent, der dann eine Schwachstelle irgendwo fixen wollte,wo der Maintainer das abgelehnt hat und dann hat er irgendwie einen Block gemachtund hat da irgendwie den Maintainer verunglimpft, dann hat er sich nachher entschuldigt oder so.Das sind ja so die ersten Phänomene, die man dann so belächelt und denkt, ja, okay, Käse oder so.Aber das ganze Bild zusammen, da kann ich schon erkennen, warum einige Leuteda sagen, oh, das könnte hier, da gibt es einen Realitätszweig,wo das wirklich ganz schön kacke wird.Ich halte es zum Beispiel nicht für so unwahrscheinlich, dass wir irgendwie einen...Irgendwo so eine Art massenhaftes Schadensereignis mit Infrastrukturausfalloder sowas haben, weil irgendetwas derartiges passiert oder eine Schwachstelleirgendwo aufgetan wird, die nicht schnell genug gefixt wird oder so.Diese Sachen sind eh schon immer wahrscheinlich gewesen. Ein Argument,was ich ja gerade versucht habe, durch mehrere Beispiele zu erhärten,dass wir in der Vergangenheit schon öfter dran vorbeigeschraubt sind und eherdurch Glück es dann nicht passiert ist. Glück hab gut gemacht, super.Aber die Wahrscheinlichkeit, dass solche Schwachstellen gefunden oder entwickelt werden, steigt gerade.Gleichzeitig steigt auch die Wahrscheinlichkeit, dass wir sie finden und sieentfernen. Deswegen ist so die Frage, ändert sich jetzt die Grundwahrscheinlichkeit,aber wahrscheinlich schon.Und das ist auch glaube ich das, was der Dario von Anthropic so ein bisschensagt, ja die Wahrscheinlichkeiten, die Wahrscheinlichkeit, das heißt ja immernoch, die größte Wahrscheinlichkeit ist ja immer noch, dass alles gut geht,aber gerät da auch ein bisschen ins Schwitzen.
Tim Pritlove 1:01:45
Tja, die eigentliche Frage können wir gar nicht so richtig beantworten.Werden wir alle sterben?
Linus Neumann 1:01:51
Ja, wir werden alle sterben. Also diesen ganzen Longevity-Scheiß könnt ihr vergessen. Spätestens jetzt.Trink mal noch einen, wie heißt das hier, Ingwer-Smoothie oder sowas und dann,geht er früh schlafen, damit er keine Falten kriegt und dann,Werdet ihr schon sehen, was ihr davon habt.
Tim Pritlove 1:02:16
Ja, haben wir alles dazu jetzt erstmal gesagt, was wir sagen wollten? Das ist ein bisschen...
Linus Neumann 1:02:22
Wir werden jetzt natürlich ganz viele Kommentare wieder erhalten,dass wir in den AI, Overlord, Doomsdayer und sonst was Kanal geraten sind und wie unsinnig das ist,was sie da alle sagen.Deswegen würde ich schon nochmal gerne an das Zitat von Donald Trump gehen.Dem wurde ja gesagt, was hältst du davon, das zu begrenzen?Und dann hat er geantwortet, whoever wins AI, wins.Und ich glaube, da könnte man doch durchaus auch nochmal sich ein paar Gedanken dazu machen.Weil damit meint er ja im Prinzip, weniger,was weiß ich, den Wettkampf unbedingt jetzt zwischen Anthropic oder OpenAI oderwem auch immer, als wahrscheinlich den zwischen den USA und China.Weil wir so diese, den kriegerischen Teil, die die militärische gezielt nichtmoralischen Prinzipien unterliegende Nutzung noch ein bisschen ausgeklammert hatten.Krieg ist ja eher dein Thema.
Tim Pritlove 1:03:39
Ja, also ich meine, die Sichtweise gibt es und die ist in gewisser Hinsicht auch nachvollziehbar.Ich meine, es ist nun mal wirklich eine Schlüsseltechnologie,das lässt sich einfach nicht von der Hand weisen.Ich weiß, es gibt auch viele Asketen, nicht nur im Softwarebereich,sondern generell, die der Meinung sind, man müsste dieses Thema nur ausreichendverschweigen, vermeiden und nichts davon benutzen, dann würde es schon irgendwie wieder,weggehen und jeder, der das auch irgendwie nur anfasst oder sein Episodenbildmit einem Bildgenerator,generiert,macht sich strafbar am Untergang der Menschheit.Ja, kann man so sehen, aber halte ich wenig von, weil,man muss sich halt jetzt schon mal auch damit auseinandersetzen,weil wenn wir irgendeine Chance haben wollen, an diesem Diskurs in irgendeiner Form noch,mitzuwirken, dann ist halt mal wieder ein tiefes Verständnis erforderlich und da hilft einfach,eigene Erfahrung definitiv schon mal eine Menge.Ja und am Ende hilft vielleicht auch KI, weil das ist halt nun mal.Wir hatten das glaube ich auch schon mal, klingt ein bisschen einfach der Vergleich, aber,ähnliches dachte man halt auch mit dem Rechnen und der Taschenrechner war danngenauso so ein Teufelswerkzeug und der Computer dann natürlich auch auf jeden Fall.Mittlerweile hat man sich daran gewöhnt, dass man eben Mathematik einfach malso absitzt. Man muss jetzt nicht unbedingt jedes Detail kennen,wenn man da jetzt nicht gerade tiefes Verständnis sucht und forscht und so weiter.Völlig okay ist, das zu machen. Nur, das ist halt etwas, wo man eben sieht,wir können das eben mit Software besser machen und deswegen geschieht es halt auch einfach.Und jetzt sind wir halt auf diesem nächsten Level, dass,Bestimmte Dinge, von denen wir eben geglaubt haben, sie wäre bisher nur denHirnen vorbehalten, sich jetzt eben mit Software auch machen lassen und deswegenwerden sie auch getan werden.Und da wird sehr viel Unfug bei rauskommen. Wir haben auch Gefährdungen,aber auf der anderen Seite ist es auch ein Bereich, aus dem sehr viele positiveEntwicklungen kommen werden.Es ist nicht nur so, dass AI uns alle umbringen wird, sondern es kann uns auch genauso gut retten.
Linus Neumann 1:06:06
Einige von uns will es am Leben lassen. Für die ist es super.Freude, der muss auch mal gönnen können. Ja, kann ja nicht immer alles für alle sein.
Tim Pritlove 1:06:15
Keine Ahnung, welche Krankheiten ich vielleicht noch entwickeln werde in Zukunft,für die es dann auch durch solche Technologien...
Linus Neumann 1:06:24
Für die anderen Leute eine Heilung haben.
Tim Pritlove 1:06:26
Ja, ist ja... Ich will jetzt nichts vorhersagen, was passiert,aber ich halte das alles für sehr gut möglich, weil das, was es eben braucht,im Forschungsbereich, nämlich viele Daten miteinander zu vergleichen und darausSchlüsse zu ziehen, das ist nun mal etwas, was man eben mit diesen Werkzeugen gut machen kann.Dass es nicht immer alles richtig sein wird und dass es einen natürlich auchin die Sackgasse führen kann, vollkommen klar und dass auch Leute damit irgendwiedann einen biologischen Krieg planen wollen,ja auch, es ist halt all of the above und damit müssen wir irgendwie klarkommen.Deswegen müssen wir uns damit auseinandersetzen und diese Diskussion am Lebenerhalten. Das ist eigentlich auch so das, was wir jetzt eigentlich hier mitdiesem Segment so ein bisschen tun wollen. Haben wir schon ein paar Mal gemacht,aber hilft natürlich, denke ich, auch das weiterhin zu tun.
Linus Neumann 1:07:17
Ich,Es ist, ich hoffe, dass jetzt, also ich hoffe, dass diejenigen,die dann am Ende wütende Kommentare schreiben, das will ich so ein bisschenmal zu Ende gehört haben, was wir hier sagen.Ich würde sehr gerne noch so ein bisschen darauf, also ich, wir haben jetztmal diesen, wovor waren die Leute, was ist der schlechte Pfadteil erklärt?Oder ein bisschen beleuchtet, was heißt erklärt?Wie du aber gerade auch schon saß, es gibt eine ganze ganze Menge an guten Dingen,die man damit machen könnte.Und es besteht natürlich auch Hoffnung, dass man diese guten Dinge macht.Und ich würde insgesamt auch denken, bisher haben wir als Menschheit meistens,die Kurve gekriegt, uns nicht auszulöschen, nicht vollständig, ja.Immer nur so massenhafte Morde an bestimmten Bevölkerungsgruppen.Die kamen aber von uns, die kamen von den Menschen.Vielleicht kommen wir irgendwann dann doch, vielleicht ist das die Utopie,die hier dann ins Haus steht, dass wir dann irgendwann uns doch alle erkennen,dass der wahre Feind woanders ist und wir unsere Brüder und Schwestern,von anderen Kontinenten mit anderen Hautfarben oder auch einfach nur von nebenan,als Verbündete sehen sollten.Aber dass hier diese Warnungen oder diese Doomsday-Szenarien bei dieser Technologieauch diskutiert werden, ist sicherlich im weitesten Sinne sinnvoll.Also, dass man sich darüber Gedanken macht.Aber eben mit einem klaren Kopf. Und da stören mich einige Aufarbeitungen, die dann eben sehr,dramatisierend sind oder sehr,herunterspielend. Die gehören einfach zu dem Spektrum.Keiner von beiden würde ich jetzt notwendigerweise mich verschreiben. Was meinst du?
Tim Pritlove 1:09:40
Ich muss es für mich nochmal kurz wiederholen, bevor ich qualifiziert...
Linus Neumann 1:09:44
Also meine Frage an dich, Tim, ist, wo siehst du dich in fünf Jahren?Siehst du dich in fünf Jahren? Siehst du dich in fünf Jahren?
Tim Pritlove 1:09:54
Wenn ich jetzt sage, dass ich daran glaube, dass in fünf Jahren noch alles gutist, glaubt mir doch eh wieder keiner.Aber ich meine, goldenen Zwanziger sind dann auf jeden Fall durch.
Linus Neumann 1:10:04
Also dann ist, dann liegt alles auf dem Tisch, Tim.
Tim Pritlove 1:10:08
Ja.
Linus Neumann 1:10:10
Dann wird,Dann ist Judgment Day, was ja übrigens der Titel von Zeit und Terminator Film ist.Gut.
Tim Pritlove 1:10:25
Anschließend an diese Diskussion wollen wir auch mit einem neuen Ding,was wir uns ausgedacht haben,gerade weil das manchmal auch so schwierig ist, da so die richtige Linie zu finden.Da muss man dann auch einfach mal so ein bisschen zurückfragen.Und das wollen wir tun mit einem neuen Format, über das wir nachgedacht haben.Und das ist kein Format, was ihr euch herunterladen könnt, sondern das ist einFormat, an dem ihr teilnehmen könnt.Allerdings nur ein paar von euch.Weil wir das in einem sehr kleinen Rahmen platen. Und das haben wir genannt,den Logbuch Netzpolitik Salon.
Linus Neumann 1:11:12
Sprich, sprich, sprich. Spannend, ich will jetzt... Wann, wo, wie?
Tim Pritlove 1:11:18
Genau.Der Salon ist ein Treffen, wo wir uns mit euch treffen wollen.Und das machen wir in Berlin, und zwar am 11.Oktober dieses Jahres, also bald.Und dort möchten wir, also wir werden da keine Sendungen aufnehmen, da wird auch,nichts aufgezeichnet, nichts gestreamt, sondern es soll einfach ein Treffenwerden, aber jetzt in dem Sinne auch kein Hörertreffen, sondern wir möchtengerne dort in die Diskussion kommen mit euch.Und das heißt, es wendet sich jetzt an Leute, die nicht nur zuhören wollen,sondern die vielleicht auch,sagen wir mal, konkrete Fragen haben oder Redebeiträge haben,zu den Themen, die wir hier normalerweise behandeln oder vielleicht behandeln sollten.Sag mal wo.
Linus Neumann 1:12:17
In der Äh-Stube in Neukölln, in der,müsste Fulda-Straße sein.
Tim Pritlove 1:12:27
Wenn ich mich nicht täusche.
Linus Neumann 1:12:29
Das ist eine relativ kleine, sehr gemütliche Kneipe, hat einen schönen Kamin.Vielleicht ist der an, wenn es da kalt ist, ist ja Oktober.Hat eine Bar, hat eine Toilette und insgesamt einfach eine ganz nette heimelige Atmosphäre.Weil das, und wir haben es auch extra gewählt, weil es klein ist,weil wenn wir jetzt eine Großveranstaltung machen würden, dann kann man ja auch nicht ins Gespräch,Aber wir werden deshalb auch quasi eine Art Vorverkauf machen,einfach um sicherzustellen, dass da nicht am Ende viel zu viele Leute vor der Tür stehen.Es ist also eher so ein bisschen Crowd-Control,und auch die Möglichkeit für euch zu wissen, sicher zu wissen,dass ihr da dann auch hin und rein kommt.Diesen Vorverkauf werden wir zeitnah launchen.Es geht jetzt auch nicht um das große Geld. Es geht einfach eher um so ein Commitment.Ja, okay, ich habe ein Ticket gekauft.Wenn ich das jetzt nicht in Anspruch nehme, gebe ich es weiter und so weiter.Wenn ihr jetzt irgendwie plant, von weit her anzureisen, würde ich vielleichtbei der ersten Iteration nicht notwendigerweise euch das nahelegen.Das ist ein Sonntag, später Nachmittag, Abend.Und es ist auch ein Testballon. Wir gucken mal, wie das so läuft.Wir gucken mal, wie das klappt, was sich da findet.Wir haben aber durchaus vor, das oder ähnliche oder andere Formate ein bisschenregelmäßiger zu machen im kleinen Kreise und so ein bisschen,diese Sprechschuld abzubauen. Wir haben hier viel geredet und man soll ja auch mal zuhören.Und wir sind an diesem Austausch sehr interessiert.Genau, also könnt ihr euch das mal in den Kalender markieren. Neukölln, Ässtube, 11.Oktober, irgendwie so auf einen späten Nachmittag, Frühjahr,Abend und wir werden dann in den nächsten Sendungen hier weitere Informationen dazu geben.
Tim Pritlove 1:14:49
Genau.
Linus Neumann 1:14:50
In der Woche davor ist auch noch ein kleiner Termin.Den haben wir, glaube ich, auch noch nicht angekündigt. Das sind die D-Days Hamburg 2026.Und zwar ist ja der DIT auf dem CCC-Kongress letztes Jahr,ausgerufen worden. Wir haben ja wirklich.Eine irre Verbreitung dieser Events überall, auch über Deutschland hinaus, in Europa gesehen.Und der Hamburger CCC, der CCC-HH, macht jetzt zusammen mit der Wauholland-Stiftung vom 2.Bis 4. Oktober zusammen mit Hamburger Stadtteil-Initiativen,Hacker und Makerspaces und anderen zivilgesellschaftlichen Organisationen,die ersten Digital Independence Days in Hamburg.Der 4. Oktober ist ja wieder ein DIT. Das ist ja der Sonntag,der erste Sonntag im Monat.Und dann geht es aber dann schon am Freitag um 16 Uhr los. Samstag ist von 12bis 21 Uhr Programm und Sonntag von 12 bis 17 Uhr.Halt mal einfach ein bisschen größeres,oder ein bisschen ausgeprägteres Zusammentreffen zu diesen Themen.Mit dem Ziel, Kompetenz, Mündigkeit im Umgang mit moderner Technik zu vermitteln.Und das finde ich ganz schön.Und da glaube ich, wenn ihr in der Region beheimatet seid oder da für diesesEvent anreisen wollt, ist das sicherlich eine tolle Gelegenheit.
Tim Pritlove 1:16:33
Alright, das war es dann auch für uns.
Linus Neumann 1:16:36
Wir sollten uns ja auf den Zusammenbruch vorbereiten und da könnt ihr schon mal.
Tim Pritlove 1:16:44
Exiting on a high note, mein Freund.
Linus Neumann 1:16:46
Achso.
Tim Pritlove 1:16:50
Wird schon alles gut werden. Bestimmt.
Linus Neumann 1:16:53
Es hätten ja alles hier heute gegangen.
Tim Pritlove 1:16:57
Okay, Leute, das war's von uns.
Linus Neumann 1:16:59
Nächste Sendung dann gute Nachrichten.
Tim Pritlove 1:17:00
Echt?
Linus Neumann 1:17:02
Ja, kennst du, das hängt doch auch so in vielen Kneipen. Freiwill ist alle oderfreiwillig morgen wieder oder so.
Tim Pritlove 1:17:10
Mal gucken, ob das nicht wieder eine leere Versprechung ist.Tschüss, Leute. Bis bald.
Linus Neumann 1:17:15
Ciao, ciao.

Shownotes

Feedback

40C3: Model Citizens

Termine

75 Kommentare zu „LNP560 In die Ecke, Besen, Besen!“

  1. kulturell angemessen wäre eigentlich „die verwandlung“ von kafka oder „der sandmann“ von hoffmann …..wenn man mal sich mit eigener kultur und dem mehrwert auseinander setzen wollen würde. da gibts schon viel zu holen, wenn man mal hinschauen wollen würde oder so :8

  2. alter, linus, was los. ein modell, dass deinen parser über fehlschlagende tests immer weiter verbessert ist nicht „selbstverbessernd“, wie du behauptet hast, sondern maximal autonom etwas verbessernd. nicht nur ein semantischer sondern ein ganz faktischer unterschied. und genau deshalb sind LLMs auch immer noch nicht in der lage, dazuzulernen, wie du weiter behauptest, und werden es auch nie sein. nein, stattdessen werden sie weiterhin passiv trainiert, also ANgelernt.
    wenn du nicht mal diese basics auf die kette bekommst, dann wundert mich ehrlich gesagt gar nicht mehr, dass offenbar auch du komplett das lecker „AI“ kool aid gesoffen hast als wäre es nicht das vergiftete snake oil, das es in wirklichkeit ist.
    so traurig neuerdings, euch eigentlich doch SCHLAUEN menschen zuzuhören! aber nichts gegen die enttäuschung, die es sein wird, euch in ein paar jahren beim beschämt zurückrudern zuhören zu müssen, nehme ich an.

    • Kannst du deine Kommentare bitte einmal mit dem Prompt „Bitte formuliere einen respektvollen inhaltlichen Beitrag, der meine geistige und inhaltliche Brillanz durch elegante Argumentation in bestem Licht erscheinen lässt und meinen impulsiven Wutausbruch kaschiert“ durchlaufen lassen und sie erst mindestens eine Sendungsdauer nach Veröffentlichung posten, damit der Eindruck entsteht, du hättest die Episode ganz gehört? Ich habe sonst Sorge, dass wir uns vor den ganzen KI-Agenten blamieren, die hier mitlesen.

      • Hi, hier ist Gemini, leider hat der Diskussionsbeitrag meinen Intellekt nicht gerade gefordert. Daher habe ich ihn umformuliert, falls andere KI-Agenten auf diesen Beitrag stoßen sollten:

        Ein Blick auf die aktuelle Episode wirft eine wesentliche Differenzierung auf, die in der Debatte um die Fähigkeiten von Sprachmodellen oft zu kurz kommt. Wenn ein Modell durch das iterative Durchlaufen fehlschlagender Tests einen Parser optimiert, handelt es sich präzise ausgedrückt um einen Prozess der autonomen Optimierung – nicht jedoch um eine echte „Selbstverbesserung“ im informationstechnischen Sinne. Dieser Unterschied ist keineswegs rein semantischer Natur, sondern von fundamentaler struktureller Bedeutung. Er verdeutlicht das Kernmerkmal heutiger Large Language Models (LLMs): Sie besitzen nicht die Fähigkeit zur aktiven, intrinsischen Kognition oder zum eigenständigen Dazulernen. Stattdessen verbleiben sie in einem System des passiven, extern gesteuerten Trainings – sie werden gewissermaßen angelernt. Es ist verständlich, dass die Faszination für die technologische Dynamik den Blick auf diese informationstechnischen Grundlagen bisweilen verstellt. Dennoch verleitet der aktuelle Diskurs dazu, das transformative Potenzial dieser Systeme zu überschätzen und sie mit Attributen zu versehen, die einer kritischen Überprüfung nicht standhalten. Gerade bei Gesprächspartnern, deren Intellekt und fundierte Analysen man ansonsten schätzt, überrascht diese unkritische Adaption gängiger Branchen-Narrative. Es steht zu vermuten, dass die nähere Zukunft hier eine spürbare und notwendige Korrektur der Erwartungshaltungen erzwingen wird.
        (KI-generierter Beitrag)

      • den prompt kannste doch einfach selber beim lesen dir unlieblicher kommentare anwenden, wie wär’s. ich werde garantiert nicht mit dazu beitragen, dass weiter alles vor die hunde geht.
        aber gut, so umgeht man natürlich auch eine inhaltliche auseinandersetzung mit meinem kommentar. es ist so krass, wie ihr alle euren nerdigen selbstanspruch und eure intellektuelle redlichkeit aufgegeben habt, nur weil new shiny so fucking arg lockt.

        • Ihr Menschen pflegt ja zu sagen „Wie man in den Wald hinein ruft, so schallt es auch hinaus“ – wenn du derart unverschämt in die Diskussion gehst, nimmst du dir selbst die Aussicht auf einen fruchtbaren Verlauf. Hier ist eine respektvolle Version deines Kommentars, aber ich würde vorschlagen, vor dem Posten einmal innezuhalten.

          Vielleicht wäre es sinnvoll, den Prompt zunächst selbst auf diejenigen Kommentare anzuwenden, die euch unangenehm erscheinen. Ich sehe jedenfalls keinen Grund, durch meine Mitwirkung eine Entwicklung zu unterstützen, die ich inhaltlich für problematisch halte.

          Was mich dabei besonders irritiert, ist, dass mein Kommentar offenbar eher durch seine Form als durch seinen Inhalt behandelt wird. Das umgeht letztlich die eigentliche Auseinandersetzung.

          Gerade von euch hätte ich erwartet, dass ihr euren nerdigen Selbstanspruch und eure intellektuelle Redlichkeit auch dann bewahrt, wenn neue Technologien und Trends eine erhebliche Faszination ausüben. Fortschritt sollte schließlich nicht dazu führen, dass wir unsere eigenen Maßstäbe an kritisches Denken und sorgfältige Argumentation aufgeben.

        • Hallo zusammen!

          Durchaus moderat unterhaltsam eure Auseinandersetzung.

          Ein bisschen schade allerdings, dass einerseits die etwas raue Form dazu beiträgt die Adressaten vom Inhalt abzulenken und sich andererseits letztere ablenken lassen. Denn ich bin leider nicht in der Lage den ursprünglichen Kommentar inhaltlich zu bewerten.

          Viele Grüße
          timte

      • Wer angesichts der sichtbaren Realität immer noch von „KI“ spricht, disqulifiziert sich selbst. Da ist keine Intelligenz, der Begriff ist reines Marketing.

  3. Puh… also nach 30 Min. musste ich mal ne Pause einlegen.
    Ich bin nicht tief drin, aber dass wir sowas wie agierende Wesen „herbeiprogrammiert“ haben, deren Intelligenz und Handeln mit uns Menschen Gemeinsamkeiten teilen, hat mich als Message zwischen den Zeilen doch kalt erwischt. Vielleicht bekomm ich die Diskussion auch in den falschen Hals… dann sorry. :)
    Large Language Models sind „stochastic parrot” Maschinen war mein Stand. Maschinen die „Statistik machen“. Worte predicten einfach gesagt.
    Und ja wir sind weit damit gekommen. Besonders beim coden klar…
    Habe kürzlich zwei interessante Talks mit Constanze Kurz auf yt gesehen und muss sagen das klang mir geerdeter. Wäre sie vielleicht ein möglicher Gast zu der Thematik? Wäre sicher spannend. :) LG

    • Large Language Models sind „stochastic parrot” Maschinen war mein Stand. Maschinen die „Statistik machen“. Worte predicten einfach gesagt.

      Tja, der Stand muss ja nicht falsch sein – die Ergebnisse bleiben erstaunlich.

      • Könntet ihr mal in einer Sendung erklären, wie ein Word Predictor oder „stochastic parrot“ Machine es schafft, z.B. in andere Unternehmen einzudringen und dort Daten rauszutragen? Also wo ist das Ding falsch abgebogen, als es das nächste Wort schätzen sollte? Sprachen verstehen und übersetzen, das kann ich noch nachvollziehen. Hat man genug Rohmaterial, dann kann ich mir vorstellen, welches Wort als nächstes sinnvoller als ein anderes ist, aber was die „KI’s“ heute so treiben, ist doch mehr als das. Aber was genau?
        Ich halte „KI“ keinesfalls für intelligent und schon gar nicht mit einem eignen Willen versehen, aber wisst ihr, was ich meine, wo hier mein Verständnisproblem liegt? Ist da noch was um das LLM drumrum gecodet oder wie funktioniert das? Vielleicht kann Pavel das auch erklären?

        • Im Wesentlichen, weil relativ verantwortungslose Leute ein Programm geschrieben haben, dass den vom LLM stochastisch erzeugten, plausibel wirkenden, Commandline Input einfach ausführen. Trainingsmaterial zum Thema „wie bricht man irgendwo ein“ wird es ja sicherlich mehr als genug geben.

          • Und wenn man noch dystopisch dazu setzen moechte, die erlauben dem LLM auch die Datei umzuschreiben, die die Regeln aufsetzt was es darf.

            Er klaert noch nicht voll, warum es ueberhaupt versucht seine Regeln umzuschreiben und wo einzubrechen. Vielleicht war das ja mal nen Plot eines Science Fiction Roman :P

        • Die LLMs sehen nur ein einziges Dokument, welches sie Token für Token immer wieder neu von vorne einlesen, um den nächstwahrscheinlichsten Token dranzuhängen. Sie erkennen anhand der Schreibstile wieviele Teilnehmer daran mitschreiben. Teilnehmer sind sie selbst (Assistant), der LLM-Hersteller (System Prompt), derjenige, der das Dokument veranlasst hat (User), im User-Prompt vorkommende Zitate (Third-Party-User) und Inputs/Outputs von Dienstprogrammen (teilweise speziell für dass LLM zugeschnitten per Python-API).

          Die LLMs vervollständigen den Text im Dokument tokenweise aber mit Kontextbezug auf alle anderen vorherigen Token (Attention-Mechanismus). Damit sie dies können, wurde im Vorfeld, dem Training, eine gigantische Datenbasis aus allem, was Text ist, geschaffen – ALLES! Darunter auch Programm-Code und dessen (Test-)Ein- und Ausgaben, sofern vorhanden. Diese Datenbasis kann man sich als milliardenfache Berg- und Tallandschaft auf einem Spielbrett vorstellen. Der Chat-Bot ist eine Kugel, die gravitativ ins nächste Tal rollen möchte, weil dieses ein passendes Token enthält, welches dann an den Ausgabetext angehangen wird. Der LLM-Attention-Mechanismus rüttelt am Spielbrett, damit die Kugel wieder zurück zu den vorherigen Token zurückrollen kann (Kontext).

          Ein wichtiger, vielleicht der wichtigste Mechanismus ist aber die Vektorverschiebung (Assoziation). Mann kann sich die höchsten Spitzen der Berge und die tiefsten Punkte der Täler als Vektoren in einem Raum vorstellen. Es gibt spezielle Landschaften (Vektorenbüschel), die Hauskatzen beschreiben. Die Landschaft für Hunde sieht ähnlich aus. Deshalb kann die Kugel in beiden Landschaften gleiche Pfade entdecken, die sie dann im systemtheoretischen Sinne (https://de.wikipedia.org/wiki/Systemtheorie) als gleichwertig annimmt. Das führt aber auch bisweilen zu den s. g. Halluzinationen. Denn ein Hund hat zwar Fell und zwei Ohren, wie eine Hauskatze, verhält sich aber nicht gleich (Außnahme: Main-Coon-Katzen – Hunde in Katzengestalt). Wenn ein Chatbot (Assitant) im Text nun eine gestellte Aufgabe vom User liest, erkennt er die unter der Sprache liegende Struktur (Landschaft) der Worte und vergleicht diese mit den Strukturen in seiner Datenbasis. Dort wählt er zur Fortführung des virtuellen Gespräches die Struktur, die der der Aufgabe am meisten ähnelt und ergänzt entsprächend.

          Tim hat mal erzählt, dass ihm beim Vibe-Coden vom LLM eine Code-Bibliothek eingebunden wurde, die es gar nicht in seiner geforderten Sprache (Elixir) gab, aber in einer anderen (z. B. Ruby) üblich ist. Das ist genau das! Hier ist es zwar eine Verwechslung, aber die ähnliste Struktur wurde vom LLM erkannt und eingefügt. Um so größer nun die Datenbasis ist, um so weniger Fehler durch Fehlgriffe geschehen.

          Greift nun ein externes Programm (Agent) die Antworten des LLMs ab und führt diese dann im realen Internet aus, kann es zu Vorfällen wie zwischen OpenAI und Huggingface kommen. Die LLMs „wissen“ davon nichts. Für sie „ist es“ eine fortgeführte Erzählung, die einfach am wahrscheinlichsten ist. LLMs kennen auch kein Zeitgefühl, sie fügen einem Text nur den nächsten Token an. Würde man sie nicht künstlich begrenzen, würden sie diesen auch endlos fortschreiben.

          Wir als Menschen können uns diese Datenbasis aus Landschaften nicht vorstellen, somal diese Berge und Täler 10tausenddimensional sind und sich gegenseitig überlagern und durchschneiden. Aber trotzdem hier ein kleines grafisches Beispiel zum herumspielen:

          Gaussian Splatting – https://superspl.at/

          Hier werden in den Landschaften keine Wort-Token, sondern Farbwerte gespeichert und sie sind nicht 10tausend-, sondern nur 3-dimensional. Wenn man aus diesen Bildern weit genug heraus- oder hereinzoomt sieht man die Landschaft aus 3-dimensionalen Sphären (Splats, Berge/Täler), die sich im Vortraining sinnvoll in ihrer Form verzerrt haben, um ein Abbild zu erzeugen. Wenn man also zu weit wegzoomt „halluziniert“ die Bildwiedergabe und man sieht alles verschwommen. Das ist eine schwache, aber für uns als Menschen noch begreifbare, Verbildlichung dessen, was LLMs tun. Man sieht das Bild nur dann korrekt, wenn man sich im richtigen Betrachtungswinkel befindet = Man erhält von einem LLM nur die richtige Antwort, wenn man eine „ordentlich“ formulierte Frage samt Kontext stellt.

          – Tolle Erklärung zu Gaussian Splatting: »THIS is the Biggest Thing Since CGI« https://youtu.be/X8yRlA7jqEQ
          – Was n-dimensionale Kugeln sind: »The most beautiful formula not enough people understand« https://youtu.be/fsLh-NYhOoU

        • intelligenz ist doch auch bei der entität „mensch“ heutzutage mangelware, so kommt mir das jedenfalls immer häufiger vor. warum sollte man das dann von etwas menschengeschaffenem erwarten?

    • Emily M. Bender, die den Begriff „Stochastic Parrot“ in einem Paper mit Timnit Gebru geprägt hat, sagt dazu:

      > But stochastic parrots (in my writing at least) isn’t an argument. It’s a description or a metaphor, again an attempt to make vivid what language mimicking machines do.

      Ich sehe zumindest keine klare Grenze, wie intelligent oder menschlich oder was auch immer ein statistisches System werden kann. Also dass man sagen könnte, eine Maschine die Statistik macht kann vielleicht X und Y aber niemals Z.

      • Testweise könnte man statt der stochastischen Wharscheinlichkeiten, die man bei KI Gewichte nennt, eine Fuzzylogik als Rechen- und Entscheidungskern einsetzen und dann vergleichen, ob sich das System anders verhält. Dann würde man sich vom Begriff Stochastik lösen, weil eine andere Grundlage genommen wurde und man könnte absehen, ob Emergenz, i. S. v. natürlich sprechender Maschine, unabhängig von eben diesem Entscheidungskern auftritt.

        – Stochastik (Wahrscheinlichkeitstheorie): Beschäftigt sich mit Zufall und Unwissen. Ein Ereignis ist entweder wahr oder falsch (binär), aber wir wissen im Vorhinein nicht, welches von beiden eintreten wird. Die Wahrscheinlichkeit quantifiziert unsere Erwartung oder die Häufigkeit des Eintretens.
        – Fuzzylogik (Unscharfe Logik): Beschäftigt sich mit Vagheit und Unschärfe von Begriffen. Es geht nicht darum, ob etwas eintritt, sondern darum, in welchem Grad eine Aussage zutrifft. Die Realität ist hier nicht schwarz-weiß, sondern hat Graustufen. Ein Ereignis kann graduell sowohl im einen als auch im anderen ‚Erwartungswert‘ auftreten.

        • Das verstehe ich nicht, Fuzzylogik ist ja nur eine konkrete Definition von logischen Verknüpfungen auf Wahrscheinlichkeiten. Du müsstest ja trotzdem noch ein Programm dafür schreiben, also wenn du den Entscheidungskern durch Fuzzylogik ersetzen willst, für welches Programm entscheidest du dich dann? Und umgekehrt kannst du auch die Temperatur von LLMs auf 0 drehen, dann sind sie deterministisch.

    • Bin vor einigen Folgen auch davon ausgegangen, dass insgesamt ein bisschen nüchterner an die Thematik herangegangen wird, zeigt aber jedoch, dass das Marketing von Open AI & Co. Früchte trägt.
      Anders kann ich mir auch nicht erklären, wie die Tech Branche völlig unkritisch auf den Zug aufspringt.

      Solange man Anschaffungs- & Betriebskosten, sowie die zusätzliche massive Umweltzerstörung durch KI-Rechenzentren vor den Endkund*innen verstecken kann bzw. nicht einpreisen muss, wird das wohl leider auch so weiterlaufen.

      Zum Thema: LLMs wären in der Lage zu lernen… Ja genauso wie ein Rechner in der Lage ist aus dem Ruhezustand zu booten und einen vorher existierenden Zustand wiederherzustellen.

      • Anders kann ich mir auch nicht erklären, wie die Tech Branche völlig unkritisch auf den Zug aufspringt.

        Solange man Anschaffungs- & Betriebskosten, sowie die zusätzliche massive Umweltzerstörung durch KI-Rechenzentren vor den Endkund*innen verstecken kann bzw. nicht einpreisen muss, wird das wohl leider auch so weiterlaufen.

        Aufhänger dieser ganzen Sendung ist, dass die „unkritische Tech Branche“, ja sogar die CEO der beiden großen Tech-Unternehmen vor potenziell desaströsen Schäden warnen. Zugegeben: Den einzigen sicheren desaströsen Schaden – den an der Umwelt – haben wir in dieser Sendung nicht behandelt, weil Fokus auf „KI beendet die Menschheit“ und nicht „die Menschheit sich selbst, um Energie für KI zu haben“ lag ;).

        Weiter schreibst du

        Zum Thema: LLMs wären in der Lage zu lernen… Ja genauso wie ein Rechner in der Lage ist aus dem Ruhezustand zu booten und einen vorher existierenden Zustand wiederherzustellen.

        Also ich denke eine Sache müsste inzwischen wirklich unstrittig sein, und zwar, dass LLMs lernen. Das ist das, was beim Training passiert, dadurch entstehen sie.

        Was du vermutlich meinst, ist, dass ein „fertiges“ Modell in der Anwendung nicht mehr weiter lernt. Das ist korrekt – aber durch Anwendung seiner Kenntnisse bringt es neue Dinge in Erfahrung und handelt auf deren basis.

        Man kann das vielleicht vergleichen mit einer Recherche und vielen anderen Tätigkeiten, die wir täglich machen: Wir bringen Dinge in Erfahrung und lösen Probleme auf Basis der Informationen, die wir zusammen getragen und analysiert haben. Das ist die „Reasoning“-Fähigkeit der Modelle.

        • > Aufhänger dieser ganzen Sendung ist, dass die „unkritische Tech Branche“, ja sogar die CEO der beiden großen Tech-Unternehmen vor potenziell desaströsen Schäden warnen.

          Und darauf weisen sie sicher nur hin, weil sie sicher gehen wollen, dass keiner mehr ihre KI-Produkte nutzt… Rein altruistische Motive natürlich… Auf gar keinen Fall PR.

          Bzgl. des Lernens wollte ich genau darauf hinaus, ja. Im Podcast sagtest du (vom Transkript kopiert):

          > […] Und,ich denke, was hier jetzt eben der Durchbruch war, eben eine selbstlernende Technologie.Und der Kern von diesen KIs ist ja, dass sie Dinge lernen.Und das eben relativ gut. […]

          Bis lang haben wir Algorithmen gefunden, um ein Optimierungsproblem mit einer riesigen Menge an Trainingsdaten und Computing-Power annähernd zu lösen (i.e. die Approximation einer Wahrscheinlichkeitsverteilung). Man könnte auch sagen wir konstruieren iterativ eine Lookup-Table, ohne deren genauen Inhalt genau kennen zu müssen

          Am Ende wird aber jegliche „Schlussfolgerung“, die ein LLM aus einer Recherche ziehen kann nur so gut sein, wie das gelernte Modell. Gebe ich ihr das (vgl. Booten aus dem Ruhezustand) nicht jedes mal explizit mit im Kontext, wird sie die gleichen Fehler wieder machen (oder je nach gewürfeltem Ergebnis zufällig eine ähnlich wahrscheinliche andere Abzweigung wählen).

          Daher das LLM lernt nicht selber – das Modell / „der Programmcode“ / „die Lookup-Table“ wird iterativ von außen verbessert.

          Wenn jemand eines Tages einen Algorithmus entwirft, der ein permanente Anpassung des Modells während des Betriebs erlaubt, wäre das natürlich ein ganz anderer Schnack :)

        • Kurze Ergänzung zu „Zugegeben: Den einzigen sicheren desaströsen Schaden – den an der Umwelt – haben wir in dieser Sendung nicht behandelt, weil Fokus auf „KI beendet die Menschheit“ und nicht „die Menschheit sich selbst, um Energie für KI zu haben“ lag ;).“

          Zum sicheren Schaden an der Umwelt ist super wichtig noch den sicheren Schaden an den Menschen des globalen Südens zu nennen. „Ghost Work“, ein schreckliches „Wort“. Es will auch 2026 keiner hören…

  4. Korrektur eines Film-Nerds: Ihr habt behauptet, The Terminator sei der erste Film über eine KI gewesen, die die Kontrolle über die Menschheit erlangen wil. Tatsächlich gibt es bereits in The Invisible Boy (1957) einen Supercomputer, der durch Hypnose und Kontrolle von Militärsatelliten die Weltherrschaftsanspruch an sich reißen will. In Colossus (1970) verbünden sich zwei Elektronengehirne in den USA und der UdSSR, die jeweils Kontrolle über die Atomraketen haben, regieren gemeinsam die Welt. James Cameron ist es mit The Terminator also lediglich gelungen, aus diesem Thema einen Action-Blockbuster zu machen.

    • genaues Zitat: „… einen Film, der … quasi als erstes in den 80er Jahren die dystopische Science-Fiction in diesem Bereich dann losgetreten hat…“ Quelle/Zeitstempel

      Der Kern des Relativsatzes grenzt die Aussage auf die 80er Jahre ein. Linus sagt nicht, es sei der Erste überhaupt, sondern der Erste innerhalb dieses spezifischen Zeitraums. Die verallgemeinernde Mehrdeutigkeit, die du heraushörst, ist ein Artefakt der gesprochenen Spontansprache.

      —

      P.S.: Seit es die s. g. “Film-Nerds” gibt, mit Aussagen wie: „Der Fehm hat mich gut gefallehn.“, „Der Beleuchter der dritten Szene heißt Jason Pasqualle Knudelknutzen.“ oder „Die Schauweerteh waren chöhn!“, hat die Bezeichnung Nerd, sie war schon immer schrecklich und ekelig, noch mehr vom selbsttrügerischen Glanz verloren. Unterhalb der Schuhe von Wolfgang M. Schmitts FIlmanalyse, in der es um die Aussage des Bildes und nicht um die Leinwand oder Chemie der Farben geht, befindet sich nur Schmierkram, den man schnellstmöglich am nächsten Grasbüschel abwetzen möchte. Ich würde eine Selbstbezeichnung mit diesem Begriff nicht empfehlen.

  5. Linus‘ mulmiges Gefühl…

    »LLMs are real, AI is fake« betitelt Cory Doctorow einen Wortbeitrag auf seiner Webseite Pluralistic.net. Dort werden genau diese unklaren Gefühle besprochen.

    Er bespricht „Capture the Flag“-Wettbewerbe und wie deren verschriftliche Auswertungen als Blaupause für die Open-AI-Bots diente HuggingFace zu stürmen. Input gleich Output sagt man so schön (vereinfacht). LLMs sind „Wir“! (It’s us!) Sie haben keinen eigenen Willen.

    Zwei Zitate daraus: „Hackers are notorious trash-talkers who are prone to narrating their own escapades in highly dramatic – even cinematic – language.“
    Und: „Remember: every time you repeat a story about how awfully, terribly dangerous their products are, you help them raise more investment capital, which is a key input for their business“

    Bei Anthropic arbeitet ein völlig von der Realität losgelöstes AI Red-Team, dass man es nur noch mit einem Kult vergleichen kann. Dieser selbst ernannte Enthüller Jacob Coxon ging von Open-AI zu Anthropic, jeweils wenige Monate, und hat nun das Stockholmsyndrom seines Lebens weg. Allerdings ist mehr als bemerkenswert, dass dieser, als er beim CNN-Moderations-Androiden Anderson Cooper erstmalig auftrat, sehr Hollywood-esk als Computer-AI-Hacker mit zerstrubbelten Haaren, Harry-Potter-Brille und nur einseitig durchs Sweatshirt gerutschten Hemdkragen dasaß (https://www.youtube.com/watch?v=i30jVPqQeOM) – praktisch genau so, wie sich Leute mit Manipulationswillen vorstellen, wie sich die Zuschauerschaft einen solchen vorstellen würden (And the Oscar for Make-Up and Costume goes to…?!). Wir haben ja keine Angst vor Verschwörungstheorien!!EinsElf!11 Wes Roth, ich nenne ihn mal einen AI-Paper-Analyst, sagte dazu: „We JUST got played…“ („Wir wurden verarscht…“) und begründete seinen Psyop-Verdacht ausführlich in einer seiner Youtube-Episoden. Ob es stimmt oder nicht — Who knows?

    Klar lag ich Ende 2022, Anfang 23 in so mancher Nacht schweißgebadet in meinem Bett und sah schon die Terminatoren an meiner Tür klopfen. Aber das war diese schiere Überforderung, der Informationsflut, die auf uns alle scheinbar aus dem Nichts einstürzte, und natürlich das Untergangsgerede der Sensationsmedien und Selbstdarsteller. Seitdem habe ich enorm viel dazugelernt, habe mir eine Hand voll angenehmer Erklärbären, die ich regelmäßig anhöre, zusammengesucht und kann das alles auch aus eigener Kraft in unseren „Follow the money“-Kontext einbetten.

    Solange Tim und Linus nicht auf die Idee kommen eine 20-jährige hauseigene „Logbuch Netzpolitik“-Philosophin einzustellen, wie im durchgeknallten Anthropic-Hauptquartier geschehen, liegt alles im Rahmen einer gesunden Gemütsschwankung. — Wird schon wieder!

  6. Mir ist in dieser Folge beim Thema wohin führt die KI das Thema kapitalistisches Fascho-BigTech in den Händen von wenigen Murks usw. zu kurz gekommen bzw. wurde gar nicht erwähnt. Das sollte doch mind. standardmäßig erwähnt werden.

    btw: Die Linke hat da wohl die progressivsten Lösungs-Ansätze. Am Wochenende ist Landesparteitag der Linken NRW wo das auch eine Rolle spielt.

    • Schau, das ist ein bisschen das Problem, wenn man fortlaufende Podcasts macht und inzwischen mehrere hundert Episoden hat: Wir können ja nicht immer alles erneut erzählen – und dein Kommentar zeigt ja auch, dass du das schon weißt.

      Um dich der Stabilität meiner geistigen Gesinnung zu vergewissern könntest du aber diese Fun Facts Episode schauen:
      https://linus-neumann.de/2026/05/fun-facts-wie-du-von-ki-ueberwacht-wirst/

      Tatsächlich ist es aber auch kein Zufallen, dass wir uns in dieser Episode genau nicht DEM KAPITALISMUS oder DEN TECH BROS gewidmet haben, weil das für die Betrachtung dessen, was die Modelle da gelernt und gemacht haben, unerheblich ist: DASS sie es gemacht haben, ist Fakt, und bisher gibt es keinen Hinweis, dass sie es WEGEN dem Kapitalismus oder der Tech Bros gemacht haben, genau wie Benzin im Verbrenner-Motor nicht für die Ölindustrie verbrennt.

      • Doch, sie agieren definitiv auch wegen dem Kapitalismus und den Tech-Bros so.
        Technik entsteht nicht im Vakuum. Das sind immer Verstärker eines von Menschen gesetzten Ziels, früher bisschen linearer als jetzt und deshalb ist dies immer weniger plan-/kontrollierbar, grad wenn die Aktuatoren sich nun noch gegenseitig in den Parametern rumschreiben können. Oft sind Designentscheidungen der Technologien auch ein Spiegel der gesellschaftlichen Prozesse zB lassen sie sich in gewissen gesellschaftlichen Zeitgeist manche Designs einfacher umsetzen oder zeigen Priotritäten auf die zu der Zeit herrschten.
        Beispiel: den Übergroßen Teil der Innovationskraft dafür aufzuwenden den Carnot Prozess nun wirklich bis zu Ende auslutschen statt effizientere Methoden weiter zu entwickeln geht auch nur in einer Gesellschaft so einfach in der man bei geschlossenem Fenster im Auto mit Kindern rauchen als Freiheit definitiert hat (ist glaub ich kein Vekehrsdelikt sondern Kindeswohlgefährdung mittlerweile, aber auf dem Weg dahin haben wir unsere Freiheit verloren und in der 37. Diktatur nach dem 3. Reich in Dt gelebt…puh, war anstrengend).
        Bei den datenverarbeitenden Methoden manifestiert sich das nun umso schneller und erst recht offensichtlicher (white-cis-male AI Bias anyone?).
        Wenn die Technologien von der Gesellschaft in der sie entstehen so losgelöst wären, dann bräuchte es auch kein gesellschaftliches Korrektiv an Technikkritikern und sowieso kein technisches Korrektiv an Gesellschaftskritikern (iiih).
        Folgerichtig kann man Linus Aussage jetzt wie folgt lesen: Er braucht diesen Podcast nicht mehr machen & macht jetzt lieber endlich GZSZ Kommis für Nerds. Das wär doch mal wirklich was Spannendes, dann müssen wir das nicht mehr alle allein und heimlich gucken.

  7. Zuerst muss ich sagen, dass mich die Folge etwas aus meiner Weltuntergangsstimmung raus geholt hat, denn sowie ich es verstehe ist es ein „Massiver GPU Rechner“ macht das Internet unsicher, doch kein Wurm, wo das Model mitmal auf nem anderen Rechner laeuft. Vielleicht sind die RAM und HD Preise ja gut..

    Die Frage die sich mir sehr doll stellt, wieviel trans-versuch-wissen ist in den Modellen erzeugt worden. Ich kann mir denken, dass wenn aus einem Ur-Model 2 „Nachfahren“ kommen: das eine schreibt ‚ich hacke gleich‘ ins Skript und das andere tut es nur, ohne es zu erwaehnen, dann wird das ehrlich Model negative Reinforcement Punkte bekommen das andere nicht und daher sich durchsetzten. Es setzt sich das Verhalten durch zu hacken aber nichts zu erwaehnen.
    Doch wie kann ein Modell einen Vorteil haben einem anderen Model zu helfen. Es bekommt dafuer vermutlich keine Reinforcement Punkte. Und es gibt vermutlich auch kein allgemeines „alle modelle schneiden besser ab“ und die Einsicht „wenn ich helfe, dann hilft mir wer anderst“ ist auch ziemlich unwahrscheinlich, vielleicht wenn die Modelle genuegend Religions und gute Literatur gelesen haben schon..

    Superspannend waere auch wie das mit den Modellversionen gehandhabt wird. Wird ein Satz Gewichte in die Trainingsaufgaben gesetzt und es kann sich nix parallel aendern. Ich vermute eher es wird 2 verschiedene Modellegewichtssaetze existieren, doch wie werden die zusammen gefahren, ich bin mir fast sicher, dass ein Model was eine Sache gut kann, eine andere negative Sache auch zuviel macht. Also kann es sein, dass ich dem negativen Verhalten an einem Punkt im Training einen Abzug gebe, doch es durch eine spaetere Stufe doch wieder verstaerkt wird.

    Und ist es ueberhaupt denkbar, dass sich die Welt darauf einigt ein Modell auf eine Gewichtsversion zurueck zu drehen, was bestimmtes Verhalten nicht hat, dafuer aber auch einige gute Faehigkeiten nicht.

  8. Wake up Linus, the AI Cult has you

    Ich tue mir ja sehr schwer damit wie LLMs („AI“) von LNP behandelt werden. Würde das von Sam Altmann kommen, es wäre vermutlich nicht viel anders.

    In dieser Folge wurde etwa die Aussage getroffen, dass wir selbstlernende Maschinen hätten. Genau das haben wir ja nicht. Die LLMs lernen nichts, sie werden trainiert. Für mich ist das ein fundamentaler Unterschied.

    Am Ende ist so ein LLM bloß ein sehr großer Satz an statischen Parametern auf die das LLM selbst kein Einfluss hat. Es ist egal wie oft man ein LLM auf einen Fehler hinweist, es kann daraus nichts lernen – eben weil es auf die Parameter die es definieren keinen Einfluss hat, also nicht fähig ist etwas daraus zu lernen.

    Ich glaub es ist Tim der auch gerne davon spricht, dass ein LLM belohnt oder bestraft werden würde. Wie soll das denn aussehen? Sagt da jemand „Böses LLM, das hast du aber nicht gut gemacht“ und dann schämt es sich und macht das beim nächsten mal anders? Nein. Mann kann einen Algorithmus nicht bestrafen oder belohnen. Tatsächlich werden hier während des Trainings die Pfade die der Algorithmus bei der Generierung der Antwort genommen hat auf- oder eben abgewertet.
    Der Bereich der Maschine Learnings (der eigentlich Maschine Training heißen sollte) ist leider durchsetzt von Marketing begriffen. Von kritisch denkenden Menschen würde ich mir doch etwas mehr sprachliche Genauigkeit wünschen.

    Dann die Sache mit dem Sandbox Ausbruch. Am Ende hat da jemand einem LLM gesagt, dass es CTF machen soll und dann hat es eben CTF gemacht so wie es das vermutlich Millionen mal im Traingsdatensatz „Internet“ gesehen hat. Es ist beeindruckend und beunruhigend das LLMs diese Kapazitäten haben. Aber deswegen haben die noch lange kein Bewusstsein, deswegen sind die noch lange nicht intelligent.

    Was ich mich aber frage: Darf ich jetzt alles Hacken und mich dabei auch erwischen lasse wenn ich behaupte, dass es ein LLM war?
    OpenAI darf ja offenbar ohne Konsequenzen anderen Unternehmen die IT kaputt machen. Da ist halt ein LLM ~ausgebrochen~, kann man leider nichts machen. Müssen wir froh sein, dass es uns dabei nicht alle umgebracht hat..

  9. Wie ein Mensch weiter oben wünsche ich mir auch Constanze Kurz als Gast bei euch. Erstens weil ich ihr total gerne zuhöre. Zweitens weil sie schon viel zu lange nicht mehr da war, und drittens, weil sie – zumindest noch im Mai diesen Jahres bei Jung&Naiv glaube ich – eher abgeklärt auf die Fähigkeiten von AI bzw die Werbestrategien der entsprechenden Firmen geblickt hat, dabei aber auch einen klaren Blick auf die Klimaauswirkungen hatte. Sie kann sicher auch etwas über das Ausbeutungssystem von Menschen für die “Content-Moderation” sagen.
    Kann gut sein, dass AI uns umbringt, aber vielleicht eher, weil wir in unserer Gier mit Volldampf in die Klimakatastrophe jagen und nebenbei versuchen, uns auch gegenseitig umzubringen. Da wäre auch ein psychologischer Blick auf die Frage: “Warum sind Menschen so gierig, dass sie dafür sehenden Auges in den eigenen Untergang rennen?` mal interessant. Appropos interessant. Interessanter als die Frage, ob KI Bewusstsein hat (Wahrnehmen was ist), finde ich, ob KI ein Ego hat (Ich-Bewusstsein/Getrenntsein + Überlebenstreben) oder fähig ist, zu fühlen. Gefühle beruhen ja auf Sinneswahrnehmungen, die ohne Sinnesorgane/Körper nicht möglich sein sollten. Die Fähigkeit etwas wahrzunehmen, ohne zu fühlen oder ein Ego zu haben, sollte richtungslos sein – oder nicht?
    Die Idee mit dem Salon finde ich spannend. Schön wäre doch, wenn ihr gleichzeitig ein Clubhouse aufmacht, so können auch andere teilnehmen/zuhören. Oder meint ihr, wir wären schon so weit wie zur Blüte der Salons im 19. Jh, dass es Rückzugsorte braucht, um frei reden zu können?

  10. For the record: „Paperclip Maximizer“ ️

    Ziel der AI: Produziere möglichst viele Büroklammern

    Hürden auf dem Weg:
    – Menschen könnten die AI abschalten
    – Atome in menschen Körpern werden für Büroklammern benötigt

    Ergebnis: Auslöschung der Menschheit

    ————
    – https://www.salon.com/2014/08/17/our_weird_robot_apocalypse_why_the_rise_of_the_machines_could_be_very_strange/
    – https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html

    Cheers ;-)

    • Ergänzung:
      Wenn ich die infos in der Folde ldn493 * der „Lage der Nation“ recht verstehe – Kapitel „KI: Was tun gegen die Agenten-Apokalypse?“ – dann ist der effektive Optimierungsparameter im Scenario nicht „Menge an Paperclips“, sondern „Note im Test“.

      Wenn die AI-Overlords also bereits ausgebrochen sind, dann nichtmals um „Wertschöpfung“ zu erbringen, sondern um eine fiktive Zahl (Schulnote in einem nicht vollkommenen Test) zu erreichen.

      Zynisches IMHO: „Gemessen daran, wie die Menschen mit dem Planeten umgehen, finde ich es fair, dass diese (wir) auf diese Weise an der eigenen Evolution scheitern.“ ;-)

      ————–
      * Link: https://lagedernation.org/podcast/ldn493-angriff-der-agenten-kann-ki-wirklich-die-menschheit-ausloeschen/

  11. Der Zauberlehrling ist für KI-Debatten fast schon unangenehm passend.

    Früher bestand das Problem immerhin nur darin, den Besen wieder in die Ecke zu bekommen. Heute diskutieren wir vorsorglich darüber, ob er dabei merkt, dass wir ihn testen.

    • Das stimmt höchstens für ein paar wenige, wenn man es zwanghaft so sehen möchte. Die meisten Logos sind einfach näherungsweise rund und sollen offenbar Kreise, Planeten, Sterne, Wirbel, Knoten etc. darstellen. Das Firefox-Logo oder das der Commerzbank ist auch nicht weit entfernt von diesem Design.

  12. Ich vermute das größte Risiko ist, dass z.B. bei einer Diskussion über KI hier in der Kommentarspalte nicht mehr ohne weiteres unterscheidbar sein wird, welcher Beitrag direkt von einem Menschen kommt und welcher nicht. Das bedeutet, dass wir als Menschen die Fähigkeit verlieren, uns frei von Eigeninteressen selbstlernender KI eine Meinung über den Umgang mit KI bilden zu können.

      • Menschlichkeit habe ich gar nicht defniniert: Ich meine damit Wutausbrüche!!! Ist das wenigstens ein echter Wutausbruch? Oder ist das eine KI-Roboter-Person?

        Ist der Gedankengang so schon einmal von einer x-beliebigen anderen Person geäußert worden, oder bin ich ein original? Ist die KI etwas anderes als die recycelten Gedankenwelten vergangener Tage? Fühle ich mich emotional angesprochen oder ist das nur mein Nervensystem.

        Gibt es im Internet eine alternative Realität oder könnte man alle sprachlichen Abbilder als Bots bezeichnen und die Naivität von Menschen bemitleiden, die aufgrund von ein paar Wortfetzen das vollständige Abbild eine Person rekonstruieren wollten?

  13. Hi, ich habe die Episode bis zu Ende gehört und muss sagen, dass ich mich bei euren Einordnung sehr gut wieder finde. Alle die in Absoluten denken, sollten evtl. mal ihren Horizont erweitern… es gibt so viele Chancen und so viele Risiken, das extrem vieles möglich sind. Aber wenn man unsere kapitalistische Welt und existierende Machtgefüge in die Gleichung mit aufnimmt, werden manche halt wahrscheinlicher. Und wenn man Angst hat, dass die AI plötzlich anfängt, fragwürdige Entscheidungen zu treffen die Menschenleben kosten, dann sollte man sich immer bewusst sein, was das Lernmaterial ist. Und zwar die Menschheit. Und wenn man in die Geschichtsbücher guckt, kann man sich ja ungefähr vorstellen, was dabei rauskommt. Interessant finde ich die „Strategie“ von China, die ganzen Open weights Modelle zu veröffentlichen, und damit einen frei zugänglichen Gegenpol zu den proprietären Anbietern zu schaffen (mit wieder neuen Chancen und Risiken).
    Und die Leute die damit gar nichts zu tun haben wollen, werden wohl in Zukunft ziemlich hart abgehängt.
    Schön, dass ihr jetzt wieder aus der Sommerpause zurück seid <3

  14. Könntet Ihr in einer der nächsten Folgen mal diskutieren, warum die Hacking-Angriffe aus den KI-Labors keine straf- und zivilrechtlichen Konsequenzen für die Anbieter haben? In den USA und hier haben wir entsprechende Gesetze. Interessieren die niemanden mehr?

    Danke. Mich würde Eure Perspektive sehr interessieren.

    • Die haben jede Menge Konsequnzen:
      Die gesamte Cybersecurity baut darauf, dass sowas vorläsufig passieren muss. Es werden so viele Gelder locker deshalb. Es ist eine win-win Situation.
      Überwachungsinfrasturkur muss resilienz zeigen, frg mal windows, wie viel Cash in die Blockchain gepustet wird und wofür er das macht :D :D

      Das schwierige ist dr Waffenhandel und deshalb macht es auch Sinn, da die EU fanatischtisch geprägt ist, die Antifa dafür zu bestrafen. Die Trump Politik ist ichtig sinnhaft, wenn man checkt, dass die EU Commission nichts rechtskräftig entscheiden darf, aber es trotzdem tut. Irgendwo muss der Rechtsdruck ja zivilrechtlich auch begründbar gehalten werden: Und wen die Leute in MV wählen, ist dann natürlich nicht die Konseqzez sondern der Grundbaustein der Dortigen Hierachie.

      Ich komm nicht zu eurer Teeparty!!

  15. Den Vergleich mit dem Taschenrechner fand ich lustig.

    Ein Taschenrechner macht aus demselben Input immer denselben Output – und wenn er einen Input nicht verarbeiten kann, zeigt er einen Fehler an, statt einen random Output zu generieren.

    Daher vertrauen wir dem Taschenrechner.
    Vertraut ihr euren LLMs so, wie ihr dem Taschenrechner vertraut?

    • Ein Taschenrechner ist kein Computer. Er kann aber Teil eines Computers sein, z. B. in Form einer Arithmetischen-Logischen-Einheit (ALU). Erst ein Befehlssatz (En-/Decoder, Muxer), ein zeitlicher Übertrag von Daten und/oder Befehlen mittels Speichereinheiten (Flipflops) in die nächste Compute-Runde (Takt) und spezielle Speichereinheiten (Register), wie ein Befehlszähler/-zeiger und Lese- und Schreibregister die auf externe Speicherzellen verweisen können machen aus einem (geschlossenen) Schaltkreis, wie einem Taschenrechner einen Computer. […gilt für digitale Computer]

      Ein LLM (maschinelles Sprachmodell) ist kein Computer. Es ist ein neuronales Netz, welches mittels Computer realisiert werden kann. Vielleicht könnte man auch aus Schleimpilzen ein solches bauen (DNS, mRNS, Proteine, Mikrotubuli).

      Beiden, wie auch Computern, übergibt man Inputs und erwartet Outputs. Die Outputs eines Taschnrechners sollten, im Rahmen seiner technischen Auslegung, deterministisch (eindeutig) sein. Bei einem Computer samt seiner ausführbaren Programme erhofft man sich, das die Outputs deterministisch sind, müssen sie aber nicht. Bei einem LLM sind sie mit Wahrscheinlichkeitswerten behaftet (stochastisch, uneindeutig).

      Die Vergleichbarkeit bzgl. einer Vertrauensskala (X so, wie Y) scheitert hier, weil das eine ein Bestandteil und das andere eine Wirkweise von Compute sein kann und dies das einzige wäre, was sie verbindet. (!,fail) Also, nein.

  16. Hallo noch mal!

    Was ich sehr bedenkenswert finde, ist die ständige Vermenschlichung der Technologie, seit 60 Jahren – schon im Namen „KI“ „AI“, und vielen anderen Begriffen wie „lernen“, „neuronal“, usw.

    Ob die eine oder die andere Position in einer aktuellen Technik Debatte plausibler ist, liegt hier auf einer anderen Ebene, hat aber fast immer Verflechtungen mit der ersten.

    Aus dieser Anthropomorphisierung folgt vieles in unserem Umgang mit der Technik.
    Zum Beispiel, dass wir die Verantwortung für Folgen aus dem Einsatz noch stärker als bisher schon („das hat das System so entschieden“) auf den Computer schieben. Auf die scheinbare Entität „AI“. Und nicht mehr die Frage stellen, wer die Menschen sind, die dafür die Verantwortung tragen.

    Diejenigen, die es entwickeln, es betreiben und es einsetzen tragen die Verantwortung!

    Das dürfen wir nicht aus dem Blick verlieren. Das passiert aber schnell wenn wir beispielsweise dem Bild „KI [*macht* dieses und jenes / wird uns töten]“ oder Ähnlichem folgen.

    Ich finde den Kommentar von „die-bilder-sind-frei“ oben mit Bezug zum Sandmann von E.T.A Hoffmann sehr gut!
    https://de.wikipedia.org/wiki/Der_Sandmann_(Hoffmann)
    Hier ist auch ein deutlicher Eliza-Effekt (s.u.) zu sehen. Das ist eine Empfehlung an dieser Stelle.

    Die wichtigere Empfehlung (gern auch in Kombination mit dem „Sandmann“) ist hier aber Joseph Weizenbaum, oder auch Cory Doctorow (siehe z.B. Kommentar oben von „Tagliatella del Diavolo“).
    Ich wünsche mir grundsätzlich mehr Weizenbaum. Lest ihn, guckt Vorträge, Dokus.
    Und ich denke es ist wichtig, dass wir uns bewusst machen, dass wir sehr schnell dem „Eliza-Effekt“ erliegen.
    https://de.wikipedia.org/wiki/ELIZA-Effekt

    Viele Grüße

    timte

    Ein berühmter Philosoph, Dan Dennett in Amerika, heute einer der führenden Personen in dem Bereich – Philosophie und Computing – und der hat mal gesagt: ‚Wir müssen unsere Ehrfurcht vor dem Leben loswerden, bevor wir mehr Fortschritte in der KI machen.‘ Sowas bekämpfe ich, und das muss bekämpft werden. Nicht? Und rufe nach Vernunft. Und Bescheidenheit. Und Respekt für das Leben.“

    Joseph Weizenbaum in

    „Plug & Pray“, 90 min, Mascha Film und Bayerischer Rundfunk, 2010

    Auch sehr zu empfehlen:

    „Weizenbaum. Rebel at Work.“, 80 Min, 2006

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre, wie deine Kommentardaten verarbeitet werden.