Logbuch:Netzpolitik
Einblicke und Ausblicke in das netzpolitische Geschehen
https://logbuch-netzpolitik.de


LNP548 Leguan ist kein Teil von Deutschland

Chatkontrolle — Deepfakes — AI hackt AI — KI-Überwachung — Meta — Offensive Cyber-Strategien — Toolbox Bodensee — Fun Facts mit Linus — Termine

Nach einer unbeabsichtigten längeren Pause gehen wir wieder durch die Nachrichtenlage und es gibt sogar eine gute Nachricht. AI steht natürlich wieder im Fokus, sie wird weiterhin und immer mehr für Deepfakes, Hacking und visuelle Überwachung genutzt. Dann diskutieren wir neue Offensivstrategien im Cyberraum, die von der US-Regierung beschlossen wurde. Und Linus hat Muffensausen weil er jetzt zum Chefkomiker befördert wurde. Tja.

https://logbuch-netzpolitik.de/lnp548-leguan-ist-kein-teil-von-deutschland
Veröffentlicht am: 21. März 2026
Dauer: 1:46:27


Kapitel

  1. Intro 00:00:00.000
  2. Prolog 00:00:30.245
  3. Freiwillige Chatkontrolle nicht verlängert 00:06:23.413
  4. Deepfakes & digitale Gewalt 00:12:56.536
  5. AI hackt AI 00:22:19.499
  6. KI-Überwachung 01:00:55.316
  7. Meta positioniert seine Lobby 01:17:37.513
  8. Offensive Cyber-Strategien 01:19:20.128
  9. Toolbox Bodensee sucht ein neues Zuhause 01:25:54.899
  10. Fun Facts mit Linus 01:29:10.632
  11. Tage der digitalen Freiheit 01:39:57.575
  12. Epilog 01:44:10.359

Transkript

Tim Pritlove
0:00:00
Linus Neumann
0:00:01
Tim Pritlove
0:00:03
Linus Neumann
0:00:06
Tim Pritlove
0:00:30
Linus Neumann
0:00:56
Tim Pritlove
0:00:58
Linus Neumann
0:01:02
Tim Pritlove
0:01:15
Linus Neumann
0:01:21
Tim Pritlove
0:01:25

Ja?

Linus Neumann
0:01:25

Ja.

Tim Pritlove
0:01:26
Linus Neumann
0:01:42
Tim Pritlove
0:01:47
Linus Neumann
0:01:52
Tim Pritlove
0:01:53
Linus Neumann
0:01:56
Tim Pritlove
0:02:07
Linus Neumann
0:02:08
Tim Pritlove
0:02:41
Linus Neumann
0:02:45
Tim Pritlove
0:02:56
Linus Neumann
0:03:01
Tim Pritlove
0:03:01
Linus Neumann
0:03:02
Tim Pritlove
0:03:13
Linus Neumann
0:03:23
Tim Pritlove
0:03:41

Ja.

Linus Neumann
0:03:43
Tim Pritlove
0:04:12
Linus Neumann
0:04:19
Tim Pritlove
0:04:26
Linus Neumann
0:04:32
Tim Pritlove
0:04:34
Linus Neumann
0:04:37
Tim Pritlove
0:04:41
Linus Neumann
0:04:43
Tim Pritlove
0:04:48
Linus Neumann
0:04:49
Tim Pritlove
0:05:02
Linus Neumann
0:05:06
Tim Pritlove
0:05:09
Linus Neumann
0:05:13
Tim Pritlove
0:05:22
Linus Neumann
0:05:26
Tim Pritlove
0:05:29
Linus Neumann
0:05:29
Tim Pritlove
0:05:32
Linus Neumann
0:05:33
Tim Pritlove
0:05:42
Linus Neumann
0:05:48
Tim Pritlove
0:05:49
Linus Neumann
0:05:51
Tim Pritlove
0:06:07
Linus Neumann
0:06:09
Tim Pritlove
0:06:13
Linus Neumann
0:06:13
Tim Pritlove
0:06:15
Linus Neumann
0:06:26

Ja.

Tim Pritlove
0:06:26
Linus Neumann
0:06:32
Tim Pritlove
0:07:56
Linus Neumann
0:07:58

Soll ich das nochmal erklären? Also, du hast... Wenn du in dieser Menge Daten und Kommunikationen überwachst und das in diesem Fall dann auch automatisiert, hast du auch bei sehr geringen Fehlerquoten immer noch eine horrende Menge an False Positives. Ein Fall, den wir hier vor einiger Zeit behandelt hatten, war ein Mann, der auf Aufforderung eines Arztes an Selbingen ein Bild von seinem Kind geschickt hatte, das eine Verletzung am Unterleib hatte. Und daraufhin ging der Filter an und der Mann wurde lebenslang von Google gebannt. Google-Verbot. Mit der Chat-Kontrolle, die als Gesetzesvorschlag ja vorangetrieben wird, wäre nicht nur die Konsequenz, dass Google die sperrt oder was auch immer macht, sondern auch noch eine automatisierte Meldung an Polizeibehörden ergehen soll. Und das Ganze auch bei verschlüsselten Messengers passieren soll. Und damit hättest du eine Situation, wo du mit deinem verschlüsselten Messenger irgendwie kommunizierst und ein Scan dieser verschlüsselten Inhalte mittels einer KI stattfindet vor bzw. Nach der Verschlüsselung. Also hast du eine KI-Überwachung deiner Kommunikationsinhalte mit automatisierter Ausleitung an die Polizei. Und das ist nun wirklich eine sehr schlechte Idee. Vor allem, wenn man das technisch zu Ende denkt, kannst du dann sagen... Den Messenger, da könntest du es ja auch immer noch rauspatchen. Also angenommen, mir würde jetzt, also nehmen wir Signal als Beispiel, einer der verbreiteteren, verschlüsselten Messenger. Angenommen, Signal würde gezwungen, das zu tun, irgendeine KI-Überwachung da einzubauen. Wobei, wenn ich mir den Vortrag von Udbaf und Meredith beim Kongress anschaue, würde ich vermuten, die würden sich da wahrscheinlich nicht zuzwingen lassen. Angenommen, sie würden es und angenommen, sie täten es, dann könntest du es ja wieder rauspatchen. Das ist ja eine Open-Source-Software. Das heißt, was, Die logische Konsequenz wäre, dass irgendwann auf den Plattformen, auf den Geräten zu verankern. Ja, dass du nämlich sagst, nee, wir wissen ja, dass Signal keine vernünftige Überwachungs- KI in ihren verschlüsselten Messenger bauen, also bauen wir das am Ende in iOS oder Android ein. Eine wirklich sehr schlechte Idee, weil sie erstens schlechte Erkennungsquoten hat und bei diesen schlechten Erkennungsquoten Eben Unmengen an falschen Verdächtigungen und dann irgendwie automatisch an die Polizei. Das war wirklich ein ernsthaftes Problem. Noch dazu, die tatsächlich kriminellen Menschen, die würden ja auch um so etwas wissen, das heißt die weichen natürlich sehr schnell aus auf Systeme, wo sie dieser Überwachung entgehen würden, beispielsweise einfach ordentliche, Ende zu Ende verschlüsselte Systeme, wie wir sie jetzt haben. Also wieder eine Massenüberwachung, die genau die Menschen trifft und nicht die Kriminellen. Wie jede Massenüberwachung eigentlich nur dazu geeignet ist, die Kriminellen dahin zu lenken, sich vor ihr zu schützen, während die unbescholtenen Bürger ja nichts zu verbergen haben und dann dieser massenhaften Überwachung ausgesetzt sind. Ja, war schön.

Tim Pritlove
0:11:58
Linus Neumann
0:12:00
Tim Pritlove
0:12:09
Linus Neumann
0:12:15
Tim Pritlove
0:12:16
Linus Neumann
0:12:30
Tim Pritlove
0:12:32
Linus Neumann
0:12:32
Tim Pritlove
0:12:39
Linus Neumann
0:12:42
Tim Pritlove
0:12:51
Linus Neumann
0:12:54

Das war jetzt schon zu viel. Es gibt in diesem Bereich, also gestern kam eine, Eilmeldung, glaube ich war das sogar. Da ist mir echt die Spucke weggeblieben. Es gibt eine Schauspielerin mit dem Namen Colleen Fernandez, die seit vielen Jahren so eine der lauteren Stimmen und engagierteren Stimmen gegen Deepfake, Pornografie ist, insbesondere unter ihrem Namen, aber das Thema auch entsprechend politisch aktivistisch behandelt. Deepfake Pornos, ich glaube wir haben vor einiger Zeit schon darüber gesprochen. Deepfake kennt man, Porno hat man schon mal davon gehört. Die beiden zusammen kann man sich vorstellen, was das ist. Das zu verbreiten von Menschen, ist natürlich eine sehr schwere. Erniedrigung und Entwürdigung und die hat die Coline Fernandes an unterschiedlichen Stellen sehr häufig erfahren. Und Ende 2025, wie jetzt bekannt wurde, hat sie dann eben Anzeige erstattet gegen ihren inzwischen Ex-Mann Christian Ulmen, den man wahrscheinlich kennt. Unter anderem Tatort-Kommissar und hat aber irgendwie, ich weiß nicht, ich hab eher früher so Sachen geguckt, wie Mein neuer Freund und so, und da hat er echt witzige Sachen gemacht, ja, aber ist ein, denke ich, relativ bekannter, deutscher Schauspieler, ich glaub irgendwo bei Viva oder MTV oder irgendein Quatsch, da angefangen Viva-Moderator Viva-Moderator, ja, das hab ich immer nicht geguckt, der hat mir Kirre gemacht der hat, also wirklich eine völlig absurde also es kann man auch wirklich, also es ist einfach nur krank, was der gemacht hat und also irgendwie, Identitätsdiebstahl, der hat gefälschte Profile auf LinkedIn unter ihrem Namen unterhalten und dann irgendwelche Leute angeschrieben und irgendwie um die 30 Online-Affären unter ihrem Namen gehabt und also wirklich, also fürchterlich, erstens für sie, ich will gar nicht wissen, wie das jetzt also überhaupt, dass sowas passiert und dass du dann auch noch feststellst, dass dein Ehemann über Jahre. Gleichzeitig auch fürchterlich, was der Mann für eine völlige Krankheit hat, mit der der sich ja jetzt eigentlich alles ruiniert. Alles ruiniert, ne? Ähm. Absolut, also wirklich absolut krank, ja. Und auch wirklich nicht schön zu lesen, er war einfach nur krank. So, warum behandeln wir das? Weil natürlich das Thema jetzt wirklich dann durch den Spiegel, Spiegelrecherche ordentlich seziert, recherchiert, ein bisschen, also sag ich mal, auf dem Detailgrad, der unangenehm ist, dem aber auch notwendig. Und Bundesjustizministerin Hubig, natürlich, was passiert, hat dann jetzt fürs Frühjahr das digitale Gewaltschutzgesetz nochmal angekündigt, mit dem Ziel, die Strafbarkeitslücken bei Deepfake-Pornos zu schließen und die Accounts von den Tätern per Gericht sperrbar zu machen. Und im Zivilverfahren bessere Auskunftsrechte zu schaffen. Wenn man sowas High-Level formuliert, klingt das immer erstmal ganz sinnvoll, aber ich glaube Auskunftsrechte im Zivilverfahren, da lauert auf der anderen Seite natürlich auch wieder sofort, der Missbrauch von oder die missbrüchliche Anwendung in anderen Verfahren. Schauen wir mal, wie das ausformuliert wird. Gleichzeitig glaube ich, wahrscheinlich hat sie das auch auf Twitter bekannt gegeben, der primären Verteilplattform für Deepfake, Pornos und so. Weiß ich nicht, ob sie das gemacht hat. Ich wollte nur darauf hinweisen, dass eigentlich alle Politiker diese Plattform ja noch nutzen. Ja. Als Kontext muss man auch sagen, es werden irgendwie sehr viel weniger Deepfake-Pornos von Männern gemacht und wenn Männer dabei sind, dann sind sie nicht in der Hauptdarsteller. Das heißt, wir haben hier nicht nur sowieso ein ekelhaftes Phänomen, sondern auch noch eins, was ganz klar eine sexistische Komponente auch nochmal hat.

Tim Pritlove
0:17:45
Linus Neumann
0:17:48
Tim Pritlove
0:19:23
Linus Neumann
0:19:53

Wir hatten hier vor einigen Folgen auch ein bisschen über die Rolle von GROC, dieser KI von Elon Musk, auch gesprochen, dass ein besonderes Problem natürlich ist, dass sie das überhaupt ermöglicht. Und dass dann die rechtliche Frage so war, dass die GROC-Leute gesagt haben, ja nee, also wenn die Leute was Illegales machen, waren es ja immer noch die Leute, Die haben ja ein illegales Prompt gegeben und da würde ich sagen, will ich auf jeden Fall mal das rechtlich schon ein bisschen umkehren und sagen, nee, nee, pass auf, also wenn du das nicht nur... Versehentlich mal jemand schafft, deine Sperren zu umgehen, sondern du das industrialisierst, memifizierst und dich daran erfreust, dass alle das machen, dann bist du Täter und eventuell, also sicherlich mit einer noch höheren Schuld beladen als die Menschen, die diese Prompts in einem schlechten Moment vielleicht auch einfach mal nur abgesetzt haben. Also ich spreche jetzt nicht von sowas, was Christian Ulm gemacht hat, aber du konntest ja auch irgendwie, was weiß ich, ist ein Bild und dann sagst du, ey, guck mal alle in Unterwäsche oder so. Und das ist, wenn da irgendwie Donald Trump und sonst was ist, dann ist das unter Umständen, kann das ja auch mal lustig sein. Ja, es wird aber in der Regel nicht mit Donald Trump gemacht, sondern mit, weiß ich nicht, linken AktivistInnen in der Regel dann oder so. Ja, schauen wir mal, was sie sich dagegen einfallen lassen. Ich bin mir sicher, es wird Handwerk nicht richtig gelungen sein, da müssen wir überhaupt nichts dran kritisieren.

Tim Pritlove
0:21:31
Linus Neumann
0:21:37
Tim Pritlove
0:21:40
Linus Neumann
0:21:47
Tim Pritlove
0:22:09
Linus Neumann
0:22:12
Tim Pritlove
0:22:17
Linus Neumann
0:22:25
Tim Pritlove
0:22:27
Linus Neumann
0:22:37
Tim Pritlove
0:22:38
Linus Neumann
0:23:16
Tim Pritlove
0:23:18

Ja, also auf jeden Fall schon mal von gehört. Ja, und was hat dieses Tool dann gemacht? Dieses Tool war quasi ohne, also sie haben es mit nichts gepreppt. Sie haben es einfach mal nur so auf McKinsey angesetzt. Ich glaube, es gab vorher sogar noch so einen Entscheidungsdialog, wo sie so gefragt haben, wo könnte man denn mal anklopfen und da kam dann wohl McKinsey auch schon als Vorschlag bei raus, warum auch immer. Auf jeden Fall hat sich dann dieser AI-Agent mal genauer angeschaut, wie es denn so mit dieser Online-Infrastruktur aussieht, die McKinsey so meint zu haben. Und siehe da, die gesamte Dokumentation ihrer API, mit der sie so im Internet hängen, mit ihren Systemen, die war auch verfügbar. Hat sich die AI dann schön durchgelesen, mal durchanalysiert und festgestellt, okay, von den gut 200 Endpoints, die da sind, sind so gut 10% nicht durch Zugangsregeln geschützt. Und dann hat die AI auch gleich angefangen, sich das doch mal genauer anzuschauen und ist da so iterativ vorgegangen und hat sich das also mal so angeklopft und geschaut, was spuckt denn das System raus. Naja, lange Rede, kurzer Sinn, relativ schnell, also dieser ganze Prozess hat zwei Stunden gedauert und auf einmal war alles offen. SQL-Injections wurden gefunden, mit pfiffigen Tricks wurde also dieses System ausgehebelt und auf einmal lag alles da. Und was man dann offengelegt hat, war so deren Intranet, was halt nicht nur irgendwie eine Datenbank war, sondern selber auch ein AI-System. Stellt sich raus, dass sie das also auf breiter Ebene intern zum Einsatz bringen und dort lag dann irgendwie alles rum. 46,5 Millionen Chatnachrichten, insgesamt 728.000 Dateien, also auch vertrauliches Zeug dabei, 57.000 Nutzerkonten und mehr als noch das, also auch diese ganzen Dokumente, interne Studien, also sozusagen einmal alles. Das gesamte Wissen dieses Unternehmens, was sich in Daten abbildet, über AI-Chatboards zugreifbar, die also offensichtlich von allen Mitarbeitern auf diese Art und Weise auch mit genutzt wird. Und, aber dabei blieb es gar nicht mal, auch die ganzen Prompts, die ganzen System-Prompts, die Pre-Prompts, die in diesem System abgelegt sind, um dann das Verhalten dieser ganzen Chatbots, mit denen man dann agiert, die das bestimmen, waren halt auch offen und zwar nicht nur lesbar, sondern auch schreibbar. Mit anderen Worten, dieses System hätte nach zwei Stunden den gesamten Modus Operandi von McKinsey quasi umstellen können. Ich meine, da hätte man auch mal was Gutes tun können für die Welt. Ja, also vielleicht, ja nee, guck mal nicht immer nur aufs Geld, schau doch mal, dass da irgendwie auch sozial was da rauskommt.

Linus Neumann
0:26:08
Tim Pritlove
0:26:16
Linus Neumann
0:26:47
Tim Pritlove
0:27:02
Linus Neumann
0:27:08

Was, warum, du hast gesagt, da gab es eine API und dann gab es eine SQL-Injection. Das war, also was das Ding, was du da gesehen hast, ist im Prinzip eine Web-App. Also eine Web-Applikation, wie du sie schreibst, die die APIs bereitstellt, die ein Front-Interface hat im Frontend für die Userin, wo dann irgendwie drin steht, hier kannst was hintippen und wenn ich Enter drücke, dann wird das an die API geschickt. Und, Diese, also ein Mapping zwischen, die API hat 200 Endpunkte, das heißt in dem Fall 200 unterschiedliche Arten, wie man mit ihr interagieren kann. Das eine ist zum Beispiel, ich bin ein neuer Nutzer und ich möchte mich anmelden oder hier ist mein Passwort und ich bin jetzt angemeldet. All das ist immer ein API-Endpunkt, also eine Art, wie man da hinschreiben kann und dann ist natürlich auch so, ich habe eine authentifizierte Session und zwar in dem Chat 3 möchte ich jetzt folgende Nachricht schicken, das ist alles immer, ein Endpunkt, ich möchte ein Setting ändern, das ist auch ein Endpunkt, da kannst du wahrscheinlich dann mehrere Settings angeben oder so, so ist eine API. Konfiguriert oder strukturiert. Und jetzt gibt es natürlich an so einer API, das war das, was du gerade sagtest, 22 waren unauthenticated, obwohl sie es sein mussten. Das heißt, du konntest etwas tun, wozu du eigentlich in irgendeiner Weise eine Authentifizierung gebraucht hättest. Angemeldete Nutzerin sein oder vielleicht sogar angemeldete Administratorin sein. Habe ich jetzt eine Session als User? Habe ich eine Session am Backend als Admin?

Tim Pritlove
0:28:52
Linus Neumann
0:28:54
Tim Pritlove
0:29:22
Linus Neumann
0:29:25

Genau, und das passiert sehr häufig. Also es ist eine Schwachstelle, die man häufig findet und, das ist das Entscheidende, die hat überhaupt nichts zu tun mit der KI. Das ist also, diese Schwachstelle ist in dem Frontend, was die gebastelt haben, dass am Ende nämlich von der Architektur hast du dann die Web-App, da kann man sich anmelden, da kann man was hinschicken und irgendwo gibt es dann eben auch die so und so viel API-Endpunkte, die sagen, den Inhalt nehme ich jetzt, gib den an ein LLM, krieg die Antwort und gib die zurück. Da war jetzt offenbar einer dieser Endpunkte, hatte eine SQL-Injection. SQL-Injection, eine der wunderschönsten Schwachstellen, auch immer wieder sehr schön zu erklären. Wenn man mit einer Datenbank spricht, dann spricht man eine bestimmte Sprache. In diesem Fall die Structured Query Language, also eine Datenbanksprache. SQL ist besonders schön, weil es immer so ein bisschen schlechtes Englisch eigentlich ist Select so und so ja, so wie bei uns Select Sternchen from Bobby Drop Table. Und jetzt das Spannende daran ist und das ist wirklich warum SQL-Schwachstellen so schön sind um Security zu erläutern, wenn ich jetzt zum Beispiel sage, suche in der Tabelle Nutzer nach dem Nutzer Tim. Na? Das wäre jetzt etwas, was man im Zweifelsfall macht, wenn jemand sich als Tim anmeldet. Dann schickt da jemand hin. Als wäre möchtest du dich anmelden? Ja, als Tim. Okay. Suche in der Datenbank. Und dann sagt er wirklich, select User from table users where name equals Tim. So, das Tim, das war ja jetzt aber kontrolliert von... Von dem Angreifer oder von dem Nutzer. Was ist denn jetzt, wenn der Nutzer nicht Tim heißt, sondern Tim-Ausführungszeichen oben, Semikolon, lösche alles. Das wäre dann immer noch, wenn man das einfach aneinander packt, ein für die Datenbank valider Befehl, den sie auch ausführen würde. Und man muss also es ist offensichtlich nicht so einfach, kriegen ja die ganze Zeit Leute nicht hin man muss immer aufpassen, dass das was man an User Generated Input in einen anderen Kontext gibt, also an eine Datenbank, dass das dort in irgendeiner Weise sichergestellt wird, dass nicht der wahre Datenbankbefehl, den ich eigentlich beabsichtige, in seinem Kontext verändert wird und da gibt es eben diesen klassischen X-Case, die jetzt fällt mir die Nummer nicht ein, wo die Schule bei der Mutter anruft und sagt, ja, wir wollten mal fragen, ob der Sohn denn wirklich Anführungszeichen oben Semikolon Droptable Students heißt und oder ob er nicht vielleicht eine SQL-Injection gemacht hat. Also quasi diese Kontextänderungen. So funktioniert, darauf basieren relativ viele, Schwachstellen in der IT?

Tim Pritlove
0:32:41
Linus Neumann
0:32:44

327, musst du verlinken. Und die Gegenmaßnahme ist, dass man dann eben jeweils die Charaktere, also die, was weiß ich, Semikolon und so weiter, die eine besondere Bedeutung in der Sprache haben, in die du gerade reinpipest, dass du aufpasst, dass du die escapest oder sicherstellst, dass eben nicht jemand einfach die Datenbanksprache spricht in einem Feld, das die Datenbank auch interpretiert. Das war hier also die zweite klassische, wirklich ganz, ganz klassische Web-App-Schwachstelle, so aus den frühen 90ern oder so, als das erfunden wurde. Und. Der, insofern hat dieser Scanner von dieser Firma nur, nur in Anführungszeichen verhältnismäßig klassische Web-Schwachstellen gefunden. Damit ist er dann, auch das ist häufig der Fall, bei einer schlecht gehärteten Web-App, hat er dann die Möglichkeit gehabt, also erstmal Blinddaten zu extrahieren. Also er konnte Daten rauskriegen, aber musste halt ins Blinde stochern, bis er eine richtige Daten zurückbekommen hat. 15 Iterationen hat er gebraucht. Und dann konnte er eben, hat der Schreibzugriff auf Dateien in dem Web-Root und konnte dann die Web-App selber verändern und damit eben die AI-Write-Instructions, ne? Und damit hätte dann eben quasi äh der, die die KI auch anders antworten lassen, ne? So irgendwie so, keine Ahnung, und Antworten übrigens immer genau das Gegenteil von dem, was richtig ist oder so, ne? So kam. Man durch diesen Angriff auch auf die Chat-Messages, die nämlich diese Web-App zum Loggen irgendwo hingeschrieben hat. Und die Dateien und Dokumente waren im Zweifelsfall Sachen, die Leute da hochgeladen haben. Und die 57.000 User-Accounts würde ich jetzt mal aus der hohlen Hand schätzen, ist wahrscheinlich die aktuelle Anzahl Angestellter bei McKinsey, weil die das Ding wahrscheinlich an die Entra-ID angebunden hatten. Jedenfalls, natürlich war das bei uns in der Firma auch Thema, ja, und dann sagte unser CEO so, ja, der war früher bei McKinsey, sagte, ja, hier, sowas sollten wir auch mal machen, ja, und dann hat René, mein Kollege, gesagt, achso, ja, okay, wenn, dann mach ich das jetzt halt, ne, und hat, ähm, sich von einer anderen großen Firma. Den Chatbot angeschaut und da gibt's wieder eine sehr ähnliche Geschichte, ein öffentliches JavaScript-Asset, in dem die URL für das Backend drin stand. Also in dem JavaScript-Asset erkennst du, ah, alles klar, hier, da ist die Backend-API, du musst sie erstmal finden. Da konntest du dann dazu führen, dass du eine, wenn du einen nicht authentifizierten Get-Request gemacht hast, kam die Debug-Error-Page. Also die Web-App lief im Debug-Modus. Was man auch nicht tun soll, aber auch ein sehr klassischer Fehler, weil in dem Debug-Modus gibt die Web-App bei einem Fehler, in diesem Fall, du verstößt ja dagegen, sagst, hier ist ein unauthenticated Get-Request. Und dann kriegst du aber die Debug-Error-Page, die einfach den kompletten State und alles droppt, in dem die App sich gerade befindet, damit die Programmiererin herausfinden kann, wo er halt gelegen. Und das hat die Web-App, die Debug-Page hat alle Environment-Variablen mit ausgegeben, weil an jeder davon kann es ja liegen. Und zu den Environment-Variablen gehörte Username Admin und Passwort Admin at 123.

Tim Pritlove
0:36:47
Linus Neumann
0:36:49
Tim Pritlove
0:36:53
Linus Neumann
0:36:53
Tim Pritlove
0:36:58
Linus Neumann
0:37:01
Tim Pritlove
0:37:37
Linus Neumann
0:37:40
Tim Pritlove
0:37:56
Linus Neumann
0:37:58
Tim Pritlove
0:38:49
Linus Neumann
0:38:51

Wir haben dann doch Bescheid gesagt, ja. Also ich kannte jemanden bei der Firma und hab dann gesagt so, hast du mal Zeit? Und dann, ja, morgen hab ich Zeit, da hab ich angerufen und dann wurde ich weggedrückt und dann hab ich so gesagt, ey, hast du mal Zeit? Wir müssen über diesen McKinsey-Chatbot reden. Im weitesten Sinne. Und dann war das dann relativ schnell gefixt. So, was das andere Thema hier ist, ähm, Also wir haben, genau, erstmal, warum passiert das? Na klar, da werden hastig irgendwelche Web-Apps gestrickt, damit man KI hat. Und die Aufmerksamkeit, was man dann absichert, die ist natürlich bei der KI. Und nicht, wir machen irgendwie eine scheiß Web-App, wir haben ja schon 100.000 Web-Apps gemacht, die coden wir einfach schnell runter. Aber es ist eben wirklich nicht, also jetzt komme ich wieder auf den Fall von McKinsey, wenn die App erstmal oder wenn die API erstmal genug Verzweigungen hat, dann kommst du relativ schnell an den Punkt…. Dass du nicht mehr die ganze Zeit kontrollierst, ob du an dem Request, der jetzt gerade kommt, ob alle Vorbedingungen auch wirklich erfüllt sind. Also, ist der Nutzer authentifiziert? Ist der Nutzer autorisiert? Ergibt sich das aus dem Kontext? Hat der mir alle Informationen gegeben, die ich erzwingen muss, damit er das jetzt überhaupt darf? und so. Diese Fehler passieren wirklich am laufenden Band und deswegen ist, sag ich mal, ein Browser mit einer Burp Suite auch so ein Gift that keeps on giving. Also im Prinzip ein Tool, was dafür gedacht ist, sehr gezielt in den Traffic zu schauen, in die APN-Punkte, in das, was da geschickt wird. Dann kannst du so, weiß nicht, wenn irgendwas Base64 ist, kannst du direkt sagen, in die, encode das mal und vor allem kannst du Requests wiederholt schicken oder da so ein bisschen durchproben. Ja, ein Tool, was genau solche, es gibt eine API, die ich nicht kenne, ich klimper da jetzt mal durch und ich versuch mal dieses und jenes, ich automatisiere das durch, iteriere das mal und ach, zack, SQL Injection. Also, dass eine KI das hinbekommt, ist erstmal nicht extrem überraschend, weil es sehr alte, klassische 90er-Jahre-Schwachstellen sind, aber in einem, eben in einer komplett neuen Web-App. Also will man jetzt auch nicht schlecht reden und zwei Stunden ist auf jeden Fall auch eine sehr stabile Zeit.

Tim Pritlove
0:41:31
Linus Neumann
0:41:33

Das ist schon relativ schnell, ja. Aber wenn man nach dieser Sache gezielt sucht, dann braucht man vielleicht auch nicht viel länger mit einer ganz guten Toolchain und ein bisschen Erfahrung. Aber trotzdem ist es natürlich spannend, dass das Ding das getan hat. Oder dass das Ding das geschafft hat. Der nächste Punkt war natürlich, die AI, also das Modell oder die Modellee dahinter hat Zugriff auf alle Daten. Auch das ist, jetzt eigentlich so ein Security-Architecture-Paradigmen-Wechsel, der da eigentlich gerade stattfindet. Früher würdest du sagen, hier gibt es die Web-App. Die Web-App prüft die Autorisierung der Nutzerin und führt dann die Aktion durch. Nehmen wir ein einfaches, ich nehme jetzt WordPress mal als Beispiel, weil ja Logbuch Netzpolitik auch auf WordPress gehostet ist. Das WordPress selber hat auch nur eine Datenbank User Credential. Das heißt, das WordPress selber kann jederzeit alles löschen. Das heißt, die Prüfung von Authentisierung und Autorisierung findet in der PHP-Logik von dem WordPress statt. Und wenn man da jetzt als, was weiß ich, als Visitor ist oder als User oder als Admin oder die unterschiedlichen Rollen, das macht alles das WordPress. Und wenn irgendetwas da falsch ist und du irgendwo in dem WordPress Frontend beispielsweise einen Fehler hast und eine SQL-Ejection ermöglichst, dann wird das sofort mit dem höchst privilegierten User üblicherweise in dem WordPress-Kontext mindestens. Also du hast Zugriff auf das komplette WordPress. Oder wenn du halt das schlechte, das falsche Tutorial auf Stack Overflow gelesen hast, eben mit Root gemacht. Und wenn der User in der Datenbank wiederum nicht ordentlich beschnitten ist, dann kann der potenziell auch Code exekuten. Also auch hier hast du im Prinzip das WordPress hat zu viele Rechte je nachdem in welchem Kontext du dich in dem WordPress befindest und wenn das seine Authentisierung und Autorisierung nicht ordentlich macht dann hat es eben zu viel Zugriff diesen, Setup oder dieser Grundgedanke wird jetzt auch bei den KIs wiederholt dass man der KI nämlich sagt naja okay natürlich kriegst du alle Daten. Wäre ja auch viel zu anstrengend, die nicht zu geben. Aber pass mal bitte auf, hier sind Daten, da schreiben wir dir jetzt eine Regel, das darfst du den Leuten nicht sagen. Und dann versucht man in der KI in irgendeiner Weise das Rollenkonzept umzusetzen und hofft, dass sie sich dran hält.

Tim Pritlove
0:44:28
Linus Neumann
0:44:33

Das geht natürlich regelmäßig schief, weil die Grundanforderung dafür eigentlich ist, dass du die Daten die die KI da so zugreift, vernünftig labelst. Und dann könnte, dann wäre es zumindest theoretisch möglich, dass die KI sagt, ja okay, das darf der, das ist eine Information, die ist für diesen Nutzer, der jetzt da gerade zugreift, nicht geeignet. Ja? Aber jetzt stell dir mal vor, du lässt so ein Ding, und das macht ja zum Beispiel Microsoft Copilot, wir hatten das hier über, vor, weiß nicht, wahrscheinlich ein paar Monaten mal besprochen. Wenn du jetzt so ein Microsoft Copilot anmachst, dann nehmen die ihr LLM und lassen das einmal den Sharepoint lesen. Und wenn du dann sagst, ich brauche mal Dateien, in denen dieses oder jenes drinsteht oder so, dann sagt er dir, hier sind die Dateien. Du kannst aber auch einfach sagen, hör mal, wie waren denn einfach die Zahlen im letzten Quartal? Und dann kriegst du potenziell eben auch eine Antwort, wenn sich nicht vorher die Mühe gemacht wurde, diese Daten zu labeln. Jetzt hast du aber natürlich insbesondere in Dateien hast du ja potenziell, wenn jetzt ein Word-Dokument ist, 20 Seiten, dann ist da potenziell, das ganze Dokument ist relativ irrelevant und ein kleines Faktum da drin ist ein Problem. Oder willst du geheim halten? Dein LLM weiß das aber. Und wenn du jetzt die Daten nicht so gegeben hast, dass das LLM das nicht, dass es weiß, dass es das gibt und aber außerdem immer auch präsent hat, das darf ich jemand anders nicht sagen. Und ich kann nicht sagen, Ich kann nicht sagen, dass ich da bisher schon eine architektonisch überzeugende Lösung gefunden habe, wo ich sage, das ist langfristig tragfähig. So. Und ich diskutiere über solche Architekturen öfter mal mit Leuten, wo auch jemand sagte, ich glaube das habe ich dir vielleicht sogar schon mal erzählt, der sagte ja auch so, wir machen jetzt hier KI und Pipapo und alle Daten Lake und alles Modelle davor und so. Und ich hab gesagt, ey, Junge, du hast deine Karriere da mitverbracht, dieses Unternehmen zu segregieren, Nutzerrechte und alles zu machen. Firewalls, hier, da und so. Und jetzt geht ihr hin und kippt alles auf einen Haufen und haut eine nicht-deterministische KI davor. Klingt erstmal. Ungewöhnlich. Ungewöhnliche Situation. Und die Antwort war, Ja, ist richtig, aber das alte Konzept, alles zu segregieren und authentifizieren und so rollenbasiert und so weiter, hat ja auch nicht funktioniert. Insofern, jetzt hat man wenigstens eine zentrale Stelle, an der man Authentisierung, Autorisierung prüfen und auch zentral nachschärfen kann und an der man an einer Stelle kontrollieren kann. Du hast einen architektonischen Vorteil, dass sich deine Kontrollen nicht dezentral über irgendwelche Requests in einem Netzwerk bewegen, aber die Komplexität von Zugriffsrechten, Zugriffen und Rollen. Wird unglaublich schnell so kompliziert, dass du da am laufenden Band Probleme hast. Und das Beispiel, was wir hier haben, ist ja nur eine Web-App. Da hast du ja wenigstens noch einen endlichen, also eine endliche Anzahl von Regeln, die du prüfst in einer gegebenen Situation. Und da kriegst du schon nicht hin, wo es ein formal endlicher, also zumindest theoretisch endliche Menge an Regeln ist, die in unterschiedlichen Kontexten zum Tragen kommen. Also die gesamte Web-App ist ja immer noch deterministisch. So, jetzt hast du aber eine KI und du weißt ja gar nicht, in was für Kontexte und Zustände Leute die bringen, wo du jetzt sagst, okay, ein Nutzer vom Stande der normalen Mitarbeiterinnen darf niemals die Quartalszahlen sehen. Und du hast aber relativ schnell eine, dass du sagst, wenn das Haus brennt, muss der Nutzer hier raus oder so. Dass du sehr schnell in Situationen kommst, wo du den Kontext nicht mehr vollständig überblicken kannst. Und es ist wirklich eine große Herausforderung, die ich glaube, die wirklich, weil ja erkennbar nun die Zeiten vorbei sind, dass wir Programme schreiben und das ist gerade alles vorbei, das sind hier die Beispiele. Dass die Leute bei McKinsey hingehen und sagen, was kostet das hier, zack, alles kippt drauf, zack, bumm, machst eine Django-App davor oder was und dann gib ihm. Das findet gerade überall auf der Welt statt. Und tatsächlich glaube ich, dass jetzt wirklich IT-Sicherheit und Security. Safety, Qualitätskontrolle, all das, das muss jetzt noch sich entwickeln, was die brauchbaren Controls, in diesen Situationen sind. Ich glaube, dass die Lösung sein wird, dass du wiederum zwischen das, was die KI macht und die Daten im Prinzip wieder irgendwelche Controls machst, APIs, auf denen du monitorst und guckst, okay, was haben wir am einen Ende, was macht die gerade, Darf die das überhaupt? Ergibt sich das gerade aus dem Kontext? Aber eine belastbare Implementierung, die universell funktionieren kann, wie man das immer noch gerade zumindest theoretisch hinkriegt mit deterministischen Systemen, wo es ja auch schon nicht klappt. Und das sehe ich jetzt für nicht-deterministische AIs umso weniger. Also ich glaube, die Lösung wird sein, A, B. Dem Ding APIs zu geben, auf denen man irgendwie kontrolliert Regeln auf den Informationsfluss wieder setzen kann. Und andererseits KIs zu nehmen, die nicht zu klug sind für ihre Aufgabe. Das war ja hier dieses Beispiel mit dem, was wir hier vor einiger Zeit auch besprochen hatten, dieses Anthropic-Experiment, wo die Automaten betrieben hat. Und wo der dann auf einmal einen Controller bekommen hat und dann haben die sich nachts über transzendentale Philosophie unterhalten. Super.

Tim Pritlove
0:51:22
Linus Neumann
0:51:30
Tim Pritlove
0:51:34
Linus Neumann
0:51:44
Tim Pritlove
0:51:50

Ja, ja, aber jetzt, also ja, okay, gut, wie auch immer, also unabhängig davon, wer es ist, also auf der einen Seite kann man feststellen, es gibt jetzt einen großen Run auf Adoption dieser Systeme, weil sie natürlich einen offensichtlichen Nutzen haben. Und was Security betrifft, haben wir immer dieses Problem, Security ist irgendwie anstrengend, weil es macht die Sachen dann unkomfortabel im Zugriff und alle wollen immer komfortabel im Zugriff haben und das hat immer dazu geführt, dass Passwörter einfach waren oder eben umgangen wurden oder man dachte, das passt schon irgendwie. Das ist immer dieses Race zwischen Convenience und Security. Und jetzt haben wir halt diesen Run auf diese AI-Systeme, die so verheißungsvoll sind und das ist ja so nützlich und in gewisser Hinsicht sind wir in dieser ganzen Adoptionsphase, die jetzt unvermeidbar ist, im Mittelalter angekommen. Und man haut jetzt erstmal alles zusammen und ach guck mal, läuft schon, super. Und die offensichtlich erforderlichen Mitigationen dieser Security-Probleme, die halt also ein sehr viel mehr so ein Schichtenmodell erfordert, wo sich immer wieder KI mit so einem deterministischen System abwechseln muss, das sind Architekturen, die müssen sich jetzt erst herausbilden. Und da brauchst du auch noch Erfahrungen, da brauchst du auch noch neue Software, neue Erkenntnisse und vor allem auch Einsichten bei diesem Unternehmen. Die Unternehmen sollten aber auch vor allem bedenken, das gilt ja jetzt nicht nur für so große Unternehmen, sondern auch für kleinere Unternehmen, die das vielleicht jetzt genauso als Chance sehen, was es ja auch sein kann. Dass umso mehr man eben auf diesen Haufen kippt und umso mehr man da reinwirft. Bisher sind so Datenbanken verloren gegangen, die Kunden waren weg oder die Auftragsliste oder sowas und das ist alles schon ganz schön schlimm. Aber was ja McKinsey und all diese Unternehmen, die jetzt ihr ganzes Firmenwissen da reinkippen, auch noch mit rausgeben, ist, dass sie auch noch ihren kompletten Modus operandi, auch ihre Einstellung und ihre Ziele und ihre Methoden und sogar auch noch ihre ganzen geheimen Arten und Weisen, wie sie vorgehen, ihre ganzen Konspirationen auch noch gleich dem Netz überantworten und auslesbar machen. Also Maschinenlesbarkeit bekommt auf einmal nochmal eine ganz andere Dimension, weil die Maschinen es nicht nur lesen können, sondern dass diese Maschinen auch noch sehr viel mehr aus diesen Informationen herauslesen können, als es früher war und das macht die Sache natürlich noch dringender, dass man hier fünfmal darüber nachdenkt, wie man seine Security-Architektur gestaltet.

Linus Neumann
0:54:34
Tim Pritlove
0:54:57
Linus Neumann
0:55:01
Tim Pritlove
0:55:11
Linus Neumann
0:55:16
Tim Pritlove
0:55:45
Linus Neumann
0:55:46
Tim Pritlove
0:57:05
Linus Neumann
0:57:14
Tim Pritlove
0:57:42
Linus Neumann
0:57:44
Tim Pritlove
0:58:24
Linus Neumann
0:58:26
Tim Pritlove
0:58:36
Linus Neumann
0:58:42
Tim Pritlove
1:00:56
Linus Neumann
1:01:01
Tim Pritlove
1:01:05
Linus Neumann
1:01:07
Tim Pritlove
1:01:12
Linus Neumann
1:01:16
Tim Pritlove
1:01:22
Linus Neumann
1:01:24
Tim Pritlove
1:01:50
Linus Neumann
1:01:52
Tim Pritlove
1:01:54

Ah.

Linus Neumann
1:01:55
Tim Pritlove
1:02:41
Linus Neumann
1:02:48
Tim Pritlove
1:03:38
Linus Neumann
1:03:39
Tim Pritlove
1:04:51
Linus Neumann
1:06:12
Tim Pritlove
1:06:34
Linus Neumann
1:06:45
Tim Pritlove
1:07:11
Linus Neumann
1:07:14
Tim Pritlove
1:07:24
Linus Neumann
1:07:29
Tim Pritlove
1:07:36
Linus Neumann
1:07:43

Ja, Kantorkel gerade schon erwähnt. Ein teures, aber gefährliches Sicherheitstheater. Und ja, also nochmal, also wie viel Kriminalität. Erwartest du. Also wirklich so die Ökonomie davon, ne? Wir können jedes Gesicht erkennen mit der Kamera. Wir erkennen verdächtiges Verhalten. Okay, haben wir eventuell ein bisschen überinvestiert, weil trotzdem findet ihr die ganze Zeit Kriminalität unter diesen Kameras oder vielleicht nicht unter diesen Kameras statt? Kann das sein, dass die Leute einfach irgendwo hingehen, wo die Kamera nicht ist? War das vielleicht so? Dann müssen wir da auch eine Kamera hinstellen oder was? Dann wird das irgendwie ein bisschen teurer. Und dann am Ende sind die Kriminellen da, wo keine Kamera ist. Wie viele Kameras müssen wir kaufen, dass die nirgendwo mehr hinkönnen? Und was bedeutet das dann für unseren öffentlichen Raum? Dann können wir uns nicht mehr unüberwacht von diesen Systemen, die in der Lage sind, anormales Verhalten festzustellen und unsere Gesichter zu erkennen. Ja, geil. Also, ich glaube, ich hatte das hier vor einiger Zeit auch schon mal in der Sendung gesagt. Dann wird der öffentliche Raum, durch den wir uns gerade noch frei bewegen können. Wir können da einfach lang gehen. Das kriegt keiner mit. Das erfasst auch keiner zentral. Im Moment. Aber das wird dann wie im Internet. Egal wo du lang gehst, egal wo du hast, Datenspuren hinterlassen, zack, bumm, ach, du bist da lang gehst. Ja, 85 Hikvision-KI-Kameras. Ja. Die haben auch dein Gesicht erkannt. Die haben auch gemerkt, dass du da an der einen Straßenecke, Tim, da weiß ich gar nicht, ob du da jetzt, also, so wie du da in dem Bus stand, hast du da hingepinkelt, das kostet doch 10 Euro. 20, glaube ich, eigentlich sogar jetzt, mit dem neuen Polizeigesetz.

Tim Pritlove
1:09:35
Linus Neumann
1:09:52
Tim Pritlove
1:09:53
Linus Neumann
1:09:57
Tim Pritlove
1:10:01

Ja, aber das ist ja einfach. Also die Konservativen sehen ja die Bösen immer in Kreuzberg und in jede Straße muss jetzt so eine KI-Kamera rein und dann haben wir diese ganzen Daten. Und ich will auch nicht mal ausschließen, dass man damit auch irgendwelches Kriminelles macht. Geschehen, erfassen könnte. Ist durchaus wahrscheinlich. Vor allem schafft man aber einen Datensatz, auf dem potenziell jede denkbare Analyse möglich ist. Und das betrifft natürlich die Privatsphäre quasi aller Leute in diesem Bereich. Es schafft vor allem auch Erpressungspotenzial. Es sind Daten mit einem sehr hohen Wert und wir wissen, alles was einen sehr hohen Wert hat, das wird dann auch irgendwann verkauft werden, wird dann anderen Leuten zugespielt werden. Das sind ja sozusagen Beobachtungssehens. Ich meine, kurzer Blick hier auf den Iran-Krieg, der erste Schlag auf den Ayatollah, der von Israel durchgeführt wurde. Es kam ja im Nachhinein raus, dass Israel seit... Jahren alle Verkehrskameras in Teheran abgeschnorchelt hatten. Die haben sozusagen einen Livestream gehabt von dieser Hauptstadt, also nicht nur einen Livestream, sondern alle Livestreams und die haben darüber die ganzen Wege der Mitarbeiter dieser Ministerien und Zuträger und Sicherheitspersonal darüber analysiert und haben darüber sozusagen ein klares Bild gehabt, wer ist wann, wo, welche Routinen herrschen, Was ist sozusagen hier das Sicherheitsregime? Und unter anderem mit diesen Informationen, sicherlich nicht nur mit diesen Informationen, unter anderem mit diesen Informationen, dann ein relativ klares Bild gehabt, wer ist wann wo und wo können wir zu welchem Zeitpunkt zuschlagen. Das ist so die Dimension, die allein die Verkehrskameras schon.

Linus Neumann
1:11:58
Tim Pritlove
1:12:09
Linus Neumann
1:12:12
Tim Pritlove
1:14:12
Linus Neumann
1:14:17
Tim Pritlove
1:14:20

Naja, also... Selbst wenn ich es jetzt mal ganz gutmütig, positiv annehmen würde, was ihre Ziele sind. Ah ja, sie wollen die Kriminalität reduzieren, sie wollen irgendwie die gefühlte oder auch die reale Sicherheit an öffentlichen Plätzen herstellen. Und es gibt ja auch Problemorte und es gibt auch Problemsituationen. Kann man alles irgendwie einsehen. Ich würde ihnen sogar fast mal unterstellen, dass sie das selber so sehen. Dass sie überhaupt gar nicht darüber nachdenken, was das Missbrauchspotenzial davon ist, sondern dass das für sie einfach zweitrangig ist manche vielleicht nicht, aber einige sehen es sicherlich, in so einer gutartigen Sache, also was habt ihr denn so wie diese Diskussion um Wahlcomputer ja was denn, wir wollen das doch nur einfach machen und so weiter, das kann doch nicht sein, dass man das nicht mit Computern machen kann, ja naja okay, das seht ihr vielleicht so, aber habt ihr mal wirklich darüber nachgedacht, was das bedeutet was das für Konsequenzen haben kann Und das ist das Problematische daran. Also ich glaube, es ist auch nicht klug, diese ganze politische Debatte immer so mit der Unterstellung zu führen, dass die ja uns doof sind. Ja, das vielleicht schon, aber dass sie nicht schaden wollen, aber dass sie sich einfach über die potenziellen Auswirkungen der Installation einer solchen Infrastruktur klar werden müssen und ich finde bei den anderen Sachen, wo wir früher immer schon gewarnt haben, hat sich das alles auch sehr wohl gezeigt, diese ganzen Probleme und das muss man auch oft.

Linus Neumann
1:15:54
Tim Pritlove
1:15:56
Linus Neumann
1:16:16
Tim Pritlove
1:16:26
Linus Neumann
1:16:29

Vielleicht noch kurz für die Vollständigkeit. In Thüringen läuft es gerade mit einem KI-Polizeigesetz. Verhaltensscanner, Gesichtssuchmaschine, Datenanalyse, Palantir-Style, Kennzeichenscanner, Videodrohnen. Niedersachsen hat auch ein KI-Polizeigesetz, BND, du hast, also natürlich wollen alle diese Strafverfolger und die Geheimdienste und die Big Four Consultants, wie McKinsey, alle Daten zentralisiert, analysieren und diese Macht haben. Also das Bittere ist ja, die werden die sich ja auch holen. Das ist ja auch wirklich nur so ein, also, das günstigste Ergebnis ist, dass wir durch den Widerstand dagegen uns noch so viel Zeit verschaffen, dass wir vernünftigen Schutz dagegen noch entwickeln können. Aber auch nicht so einfach, weil Meta, das ist ja auch, weißt du, was machen wir bloß mit diesen ganzen Rechten? Die Leute gehen in die Hände dieser Bauernfänger, die gehen da irgendwie bei der AfD und den ganzen komischen rechtsgerichteten Irrsinnigen hin, weil die das Vertrauen in die Politik verloren haben. Was machen wir denn? Ja, lass uns am besten erstmal die oberste Datenschutzbeauftragte Irlands wird jetzt Lobbyistin für Facebook und dann lass uns am besten die Ex-Meta-Lobbyistin, die dann auf einmal ins EU-Parlament gekommen ist, die nehmen wir am besten als Chefverhandlerin für den KI-Omnibus. Also eine Ex-Meta-Lobbyistin sitzt jetzt im EU-Parlament und ist ausgerechnet für den KI-Omnibus. Also für den KI-Teil des Omnibus. Da. Also für KI und Datenschutz. Das kann doch auch nicht sein. Also hatten wir wirklich niemand anders? Ja, hatten wir wahrscheinlich nicht. Fällt dir noch jemand ein, wenn man da hätte hinschicken können?

Tim Pritlove
1:19:05
Linus Neumann
1:19:06
Tim Pritlove
1:19:12
Linus Neumann
1:19:13

Keine Ahnung, wovon er redet. Es gibt, In diesem ganzen Kontext, wir haben ja gerade über KI, Überwachung, Auswertung und sowas gesprochen, noch eine etwas unschöne Meta-Entwicklung. Also natürlich, wir haben gesagt, Geheimdienste wollen das, Überwachung will das und wir haben glaube ich in einer der letzten Sendungen auch schon darüber gesprochen, Militär will das, das Kriegsministerium der USA hat ja, auch darüber haben wir gesprochen, sich mit Anthropic angelegt und jetzt irgendwie gesagt, wir nehmen euch das Geld, geben euch das Geld nicht mehr, dann einen Deal mit OpenAI gemacht. Dann hat Trump gesagt, die Nutzung von Anthropic in Bundesbehörden wird jetzt untersagt. Das heißt, sie versuchen Anthropic den Geldhahn zuzudrehen, um diese Entwicklungen für sich gefügig zu machen. Sowieso werden Kriege inzwischen mit Drohnen und automatisierten Tötungsmaschinen geführt. Das heißt, die ganze Militärgeschichte. Und wir haben gerade darüber gesprochen, dass wir im Prinzip beobachten, dass die Sicherheitsarchitekturen für derartige Systeme zumindest, also sie werden gerade exploriert das muss man jetzt mal noch finden, und dann hat weitestgehend unbeachtet Donald Trump vor einigen Wochen eine neue Cyber-Strategie veröffentlicht. Und diese Strategie, die Donald Trump jetzt für, also für, wie bewegt man sich im Bereich des Cyber, also Cyber ist ja Hacking, ne? Sie haben gesagt, okay, wir gehen weg von Regulierung, wir gehen hin zu Dominanz und Deregulierung. Also wir deregulieren die Anforderungen. Das ist erstmal etwas, was ich gar nicht, also der Idee wäre ich gar nicht so abgeneigt, weil in vielen Bereichen IT-Sicherheit tatsächlich so stark totreguliert ist, dass es in die Sinnlosigkeit treibt. Es wird viel zu viel Zeit verschwendet mit sinnlosen Anforderungen. Aber das kombinieren sie mit, wir wollen den Bereich dominieren und wir priorisieren den Angriff gegenüber der Verteidigung. Also proaktive Angriffe, Abschreckung und so weiter, statt in Resilienz zu investieren und zu setzen. Also Abschreckung statt stabilen Scheiß bauen. Genau, die Deregulierung, okay, also kann man drüber reden, das muss natürlich nur die Zeit und Energie und Verpflichtung, die da frei wird, die Ressourcen, die müssen ja auch irgendwo hin. Dann natürlich ja mit KI, das machen wir jetzt hier Agentic AI wird dann für uns die aktiven Cyber-Angriffe machen ähm und ja das ist äh, Ich meine jetzt auch keine so gute Entwicklung, wenn jetzt die USA sagen, wir haben uns überlegt, das mit dem Defense, das habt ihr jetzt ein paar Jahre versucht, das funktioniert doch alles nicht. Wir kloppen einfach feste drauf. Und dann denkt man sich, wie blöd sind eigentlich die USA, aber natürlich kriegen BKA und Bundespolizei gerade auch neue Hackerbefugnisse oder so, und die kriegen, das plant zumindest die Bundesregierung und sagt, ja wir wollen natürlich aktive Abwehr von Hackerangriffen. Wer das für eine gute Idee hält, kann sich die schöne Sendung mit dem Hackback-Rakete nochmal anhören. Also gegen Attacken, Systeme von Angreifern stören oder lahmlegen, soll dann Bundespolizei und BKA erlaubt werden. Und das wird auch nicht lange dauern, bis die sagen, das machen wir hier mit dieser Codewall-KI oder was auch immer, die so schön das McKinsey-Problem fast gelöst hatte. Und jetzt schwanken quasi nicht nur alle hin zu der Massenüberwachung und der Automatisierung von Dingen mit wackelnden, Sicherheitskonzepten und Zauberlehrlings Vibes, sondern sagen außerdem ja pass auf, wir haben uns auch überlegt der Schwerpunkt ist jetzt eher wir greifen die anderen an, als dass wir uns verteidigen ja, Da würde ich auch sagen, wollen wir mal gucken, wie lange das dauert, bis einer weint und ob nicht am Ende beide weinen.

Tim Pritlove
1:24:14
Linus Neumann
1:24:58

Ja, genau. Es geht nicht gut. Ich rede da ja nun wirklich mit dem Mund fusselig. Ja, es gibt Angriffe. Ja, es gibt Angreifer. Und ja, es gibt keine vollständige Sicherheit. Genau deswegen muss man Resilienz aufbauen und nicht sagen, naja, wenn wir eh verloren sind dann kloppen wir halt auf die anderen drauf also das funktioniert halt nicht insbesondere, wenn du dir dann sowas anhörst, wie du gerade erzählt hast dass dir eine dir nicht wohlgesonnene Nation deine dir selbst dahingestellten Überwachungskameras hackt. Ja, aber der neue 3er BMW ist super. Wird noch was in Deutschland. So, dann haben wir noch einen Space, den gemeinnützigen Makerspace Toolbox Bodensee. Die suchen relativ kurzfristig ein neues Zuhause. Die müssen am 31.05.26 ausziehen und suchen mindestens 220 Quadratmeter im Bereich Bodensee. Also der Bodensee-Kreis, Markdorf, Friedrichshafen, Tettnang. Wir haben den Blogpost für euch verlinkt. E-Mail an vorstand.toolbox-bodensee.de. Und warum würde man so einem Space ein Zuhause bieten? Nun ja, das sind halt Orte, wo was passiert, wo Kreatives entsteht, wo sich Communities treffen, Chaos treffen, Marktdorf, Funkamateure. Freifunk-Bodensee, die Freifunk-WLAN-Infrastrukturen bauen, Spieleentwicklung-Bodensee, IoT-Meetup. Und die haben jetzt gerade 420 Quadratmeter, bauen Elektrotechnik, Holz, Metallwerkstatt, 3D-Druck, Siebdruck, Fotolabor, also all diese Orte oder all diese Werkstätten und Tools, die es ermöglichen, Dinge zu tun, sich zu entfalten, als Communities zusammenzukommen, was zu machen. Also damit man nicht immer nur hier mit Chat-GPT am Sexten ist, sondern sich auch weiterentwickelt als Teenager. Und ich denke, das sind wichtige, herausragende Orte von Kultur und Kreativität und deswegen will man das haben. Ja, und deswegen brauchen wir jetzt relativ kurzfristig dafür eine Fläche und das ist eine Gelegenheit. Das ist eine Chance, die sich so schnell nicht mehr bieten wird, dass man jetzt die neue Heimat der Toolbox Bodensee werden kann, am Bodensee, wo man eigentlich denkt, man hätte schon alles erreicht.

Tim Pritlove
1:27:57
Linus Neumann
1:28:01
Tim Pritlove
1:28:05
Linus Neumann
1:28:05
Tim Pritlove
1:28:14
Linus Neumann
1:28:18
Tim Pritlove
1:28:23
Linus Neumann
1:28:43
Tim Pritlove
1:28:45
Linus Neumann
1:28:47
Tim Pritlove
1:29:05
Linus Neumann
1:29:14
Tim Pritlove
1:29:19
Linus Neumann
1:29:26
Tim Pritlove
1:29:29
Linus Neumann
1:29:37
Tim Pritlove
1:31:03
Linus Neumann
1:31:06
Tim Pritlove
1:31:34
Linus Neumann
1:31:38
Tim Pritlove
1:31:40
Linus Neumann
1:31:41
Tim Pritlove
1:31:43
Linus Neumann
1:31:57
Tim Pritlove
1:32:00
Linus Neumann
1:32:06
Tim Pritlove
1:32:14
Linus Neumann
1:32:27
Tim Pritlove
1:32:32
Linus Neumann
1:32:37
Tim Pritlove
1:32:40
Linus Neumann
1:33:04
Tim Pritlove
1:33:29
Linus Neumann
1:33:31
Tim Pritlove
1:33:35
Linus Neumann
1:33:37
Tim Pritlove
1:33:51
Linus Neumann
1:34:04
Tim Pritlove
1:34:51
Linus Neumann
1:34:54
Tim Pritlove
1:35:03
Linus Neumann
1:35:05
Tim Pritlove
1:35:07
Linus Neumann
1:35:13
Tim Pritlove
1:35:14
Linus Neumann
1:35:20
Tim Pritlove
1:35:24
Linus Neumann
1:35:27
Tim Pritlove
1:35:33
Linus Neumann
1:35:43
Tim Pritlove
1:35:48
Linus Neumann
1:35:58
Tim Pritlove
1:36:24
Linus Neumann
1:36:27
Tim Pritlove
1:36:42
Linus Neumann
1:36:45
Tim Pritlove
1:36:46
Linus Neumann
1:37:27
Tim Pritlove
1:37:29

Ja.

Linus Neumann
1:37:29
Tim Pritlove
1:37:31
Linus Neumann
1:37:34
Tim Pritlove
1:37:37
Linus Neumann
1:37:54
Tim Pritlove
1:37:55
Linus Neumann
1:37:57
Tim Pritlove
1:38:04
Linus Neumann
1:38:10
Tim Pritlove
1:38:12
Linus Neumann
1:38:20
Tim Pritlove
1:38:24
Linus Neumann
1:38:28
Tim Pritlove
1:38:32
Linus Neumann
1:38:54
Tim Pritlove
1:39:37
Linus Neumann
1:39:43
Tim Pritlove
1:39:59
Linus Neumann
1:40:02
Tim Pritlove
1:40:03
Linus Neumann
1:40:04
Tim Pritlove
1:40:19
Linus Neumann
1:40:20
Tim Pritlove
1:40:22
Linus Neumann
1:40:24
Tim Pritlove
1:42:22

Oh.

Linus Neumann
1:42:22
Tim Pritlove
1:42:33
Linus Neumann
1:42:39
Tim Pritlove
1:42:46
Linus Neumann
1:42:48
Tim Pritlove
1:42:51
Linus Neumann
1:42:53
Tim Pritlove
1:42:54
Linus Neumann
1:43:00
Tim Pritlove
1:43:17
Linus Neumann
1:43:22
Tim Pritlove
1:43:27
Linus Neumann
1:43:29
Tim Pritlove
1:43:32
Linus Neumann
1:43:35
Tim Pritlove
1:43:38
Linus Neumann
1:43:40
Tim Pritlove
1:43:43
Linus Neumann
1:43:48
Tim Pritlove
1:43:50
Linus Neumann
1:43:53
Tim Pritlove
1:43:57
Linus Neumann
1:44:13
Tim Pritlove
1:44:23
Linus Neumann
1:44:33
Tim Pritlove
1:44:38
Linus Neumann
1:44:41
Tim Pritlove
1:44:41
Linus Neumann
1:44:42