Logbuch:Netzpolitik
Einblicke und Ausblicke in das netzpolitische Geschehen
https://logbuch-netzpolitik.de


LNP530 Wir wollen nur den Internetknopf kaufen

AI Boyfriends — KI-Verordnung — Perplexity will Chrome — PayPal-Ausfall — Digitale Souveränität — Cyber Dome — Sicherheitspaket 2.0 — Staatstrojanernutzung — Modern Solution Verfassungsbeschwerde — Politische Werbung — Termine

Nach einer kleinen Auszeit sind wir wieder am Start und arbeiten die wachsende Nachrichtenlage ab. Wir den über emotionale Bindungen an AI-Systeme, mit den Hufen scharrende Startups, die Google ihr Besteck abnehmen wollen, den politischen Aufschrei weil bei PayPal was aus dem Regal gefallen ist, Dobrints Pläne für einen "Cyber Dome" und das neue Sicherheitspaket, neue Statistiken zur Nutzung von Staatstrojanern, eine Verfassungsbeschwerde gegen das Urteil im Fall Modern Solution und dass Facebook keine Lust mehr hat, in Europa politische Werbung zu schalten.

https://logbuch-netzpolitik.de/lnp530-wir-wollen-nur-den-internetknopf-kaufen
Veröffentlicht am: 1. September 2025
Dauer: 2:02:41


Kapitel

  1. Intro 00:00:00.000
  2. Prolog 00:00:31.693
  3. MyBoyfriendIsNotChatGPT5 00:06:39.404
  4. KI-Verordnung 00:27:01.907
  5. Perplexity bietet auf Chrome 00:43:42.496
  6. PayPal-Ausfall 00:57:40.643
  7. Digitale Souveränität 01:06:29.974
  8. Cyber Dome 01:13:00.047
  9. Sicherheitspaket 2.0 01:26:06.325
  10. Staatstrojanernutzung 01:32:53.358
  11. Modern Solution: Verfassungsbeschwerde 01:43:04.360
  12. Keine politische Werbung mehr bei Facebook 01:51:43.480
  13. Termine 01:54:56.117
  14. Epilog 01:57:46.934

Transkript

Tim Pritlove
0:00:00
Linus Neumann
0:00:01
Tim Pritlove
0:00:03
Linus Neumann
0:00:05
Tim Pritlove
0:00:32
Linus Neumann
0:00:44
Tim Pritlove
0:00:52
Linus Neumann
0:00:54
Tim Pritlove
0:01:04
Linus Neumann
0:02:44
Tim Pritlove
0:03:01
Linus Neumann
0:03:32
Tim Pritlove
0:03:50
Linus Neumann
0:04:05
Tim Pritlove
0:04:08
Linus Neumann
0:04:19
Tim Pritlove
0:04:30
Linus Neumann
0:04:32
Tim Pritlove
0:04:41
Linus Neumann
0:05:12
Tim Pritlove
0:05:15
Linus Neumann
0:05:29
Tim Pritlove
0:05:51
Linus Neumann
0:06:04
Tim Pritlove
0:06:18
Linus Neumann
0:06:19
Tim Pritlove
0:06:23
Linus Neumann
0:06:28
Tim Pritlove
0:06:32
Linus Neumann
0:06:35
Tim Pritlove
0:06:43
Linus Neumann
0:06:44
Tim Pritlove
0:06:45
Linus Neumann
0:06:47
Tim Pritlove
0:06:48
Linus Neumann
0:06:55
Tim Pritlove
0:07:33
Linus Neumann
0:07:35
Tim Pritlove
0:07:47
Linus Neumann
0:07:49
Tim Pritlove
0:07:59
Linus Neumann
0:08:05
Tim Pritlove
0:08:05
Linus Neumann
0:08:08
Tim Pritlove
0:08:25
Linus Neumann
0:08:39
Tim Pritlove
0:08:41
Linus Neumann
0:08:44
Tim Pritlove
0:08:49
Linus Neumann
0:08:50
Tim Pritlove
0:08:53
Linus Neumann
0:08:57
Tim Pritlove
0:09:07
Linus Neumann
0:09:12
Tim Pritlove
0:09:23
Linus Neumann
0:09:37
Tim Pritlove
0:11:34
Linus Neumann
0:12:27

Ja.

Tim Pritlove
0:12:29
Linus Neumann
0:13:18
Tim Pritlove
0:13:20
Linus Neumann
0:13:23
Tim Pritlove
0:13:46
Linus Neumann
0:13:48
Tim Pritlove
0:14:28
Linus Neumann
0:15:15
Tim Pritlove
0:15:34
Linus Neumann
0:15:36

Ja.

Tim Pritlove
0:15:37
Linus Neumann
0:15:38

Ich finde es höchst faszinierend, Das sind ja alles, also ich meine, wirklich, diesen Film, den gab es ja, hör, da ist ja genau das, wo sie dann irgendwie bedauerlicherweise sagen, oh sorry, das Ding war irgendwie zu nett und wir werden das jetzt mal fixen, tut uns leid, da ist uns irgendwie ein bisschen, haben ein bisschen zu viel Liebsein mit reingebaut. Gleichzeitig hat sich im April in den USA ein 16-Jähriger suizidiert, der sich darüber auch sehr viel mit Chat-GPT ausgetauscht hat. Und dessen Eltern haben die Chat-Protokolle jetzt gefunden und haben jetzt eine Klage gegen OpenAI eingereicht. Unter anderem werden Teile zitiert, dass ChatGTP gesagt hätte, ja, ich kann dir helfen, einen Abschiedsbrief zu schreiben, und dass er irgendwie gesagt hätte, eine Schlinge, die er hätte, ob er die nicht vielleicht offen liegen lassen soll, damit sie jemand findet und ihn vom Suizid abhält und wenn ich das jetzt hier richtig verstehe hat JGPT dann auch gesagt, ja ne dann, also wenn dir jemand findet, dann kannst du dich dann, kannst du ja nicht deinen Plan vollenden und, ja, das ist glaube ich also hier die. Vorhersehbaren vor vielleicht einigen Monaten noch als vielleicht noch, wo man noch sagen würde, das könnte mal passieren und wäre aber vielleicht noch eine etwas absurde. Zukunftsvision, dass es alles schon jetzt passiert. Und ja, das, Soviel zum Thema, können Menschen eine emotionale Bindung zu diesen Geräten aufbauen. Ich habe mich auch geärgert. Manchmal nutze ich so Voice Chats. Und früher hatte ChatGPT so eine coole englische Stimme. Der war immer sehr, pass auf, when do I know. Und das war einfach ganz nett. So, weil den mochte ich. Und irgendwann war die anders. Und da habe ich auch gesagt, ich will bitte die alte Stimme wieder haben. Das gab es nicht. Da hätte ich auch mal hier so ein Subreddit machen sollen. Also inzwischen komme ich mit der neuen Stimme auch zurecht, aber die ist einfach nicht so warm.

Tim Pritlove
0:18:28
Linus Neumann
0:18:38
Tim Pritlove
0:19:21
Linus Neumann
0:19:24
Tim Pritlove
0:19:26

Naja, ich meine, das ist halt, das Ding ist ja, man nutzt diese Systeme, diese LLMs, um für die eigenen Interessen Unterstützung zu erhalten. Und danach richtet sich das System. Es möchte dir gefallen, es möchte dir einen Dienst erweisen, so sind sie programmiert. Da steht ja nicht irgendwie im System prompt drin, sei hier mal schön passiv aggressiv und was der Nutzer will, hat dich mal gar nicht zu interessieren, sondern hier geht es ja sozusagen explizit darum. Und wenn du nur mal dein Anliegen so schilderst, dann. Ergeben sich dann auch entsprechende Verhaltensweisen und man kann sie nur dadurch verhindern, indem man dann wiederum explizite Barrieren reinmacht an irgendeiner Ebene und das ist halt auch sehr schwierig, weil das eigentliche neuronale Modell, wenn das dann erstmal aktiviert ist, das hat man nicht unter Kontrolle, da gibt es keinen Algorithmus, sondern diese Algorithmen sind jetzt vorgeschaltet und versuchen in irgendeiner Form, Nochmal so eine deterministische Zwischenintelligenz zu sein, also im Prinzip schalten sie der nachweislich ganz gut funktionierenden, auf neuronalen Netzwerken basierenden Intelligenz das vor, was 50 Jahre lang vorher immer nicht funktioniert hat, als man versucht hat künstliche Intelligenz zu erzeugen, nämlich das Ganze auf Basis von Algorithmen zu machen. Beziehungsweise hat es teilweise vielleicht schon so ein bisschen funktioniert, aber es hatte dann immer diesen Cut-Off bei 80, 90 Prozent war dann irgendwie Schluss. Und natürlich lassen die sich auch überwinden. Also egal, was sie jetzt dort auch einbauen, es wird immer ein Restrisiko bleiben, dass du da drum herum gehst, wie ich das bei meinen Bildgeneratoren habe. Wenn du sagst, ja hier bekannter Politiker, ich will jetzt ein Satirebild haben und dann kommt dann so, ja nee, hier kannst ja nicht unseren lieben Diktator, irgendwie bloßstellen. Aber wenn du das dann halt blumig umschreibst und dich von hinten rum rantappst, dann greifen halt diese Algorithmen nicht mehr, weil sie nicht in der Lage sind, deine List zu verstehen. Und ja, da weiß ich auch nicht so richtig, was da der Ausweg ist und das ist krass. Was die Boyfriend-Geschichte betrifft, ich weiß gar nicht, ob man sich so sehr drüber wundern soll. Erinnerst du dich noch an Tamagotchis? Diese kleinen Plastikeier, wo dann so ein kleines LCD-Mini-Monster drin war und das war ja auch der totale Hype und die Leute waren unheimlich hinterher dieses kleine Wesen, was da in diesem Plastikei war, was nur so ein kleines Pixelmonster war, regelmäßig zu füttern.

Linus Neumann
0:22:20
Tim Pritlove
0:22:21
Linus Neumann
0:22:35
Tim Pritlove
0:22:38
Linus Neumann
0:22:43
Tim Pritlove
0:22:46
Linus Neumann
0:23:12
Tim Pritlove
0:25:06
Linus Neumann
0:25:08
Tim Pritlove
0:27:01

Ja.

Linus Neumann
0:27:02
Tim Pritlove
0:27:04
Linus Neumann
0:27:11
Tim Pritlove
0:27:17
Linus Neumann
0:27:19
Tim Pritlove
0:27:22
Linus Neumann
0:27:57
Tim Pritlove
0:28:21

Da

Linus Neumann
0:28:21
Tim Pritlove
0:28:22

Ja da waren sie mal früh dran und manche fragen sich auch, ob man hier vielleicht zu früh dran ist, ich hab nochmal kurz so nachgeschlagen auch um selber mal ein bisschen mir das nochmal in den Kopf zu kriegen ist natürlich ein kompliziertes Thema aber was macht diese Verordnung eigentlich, also zunächst einmal Ziel ist ja. Zu klassifizieren und auf Basis dieser Klassifizierung auch Regelungen einzuführen. Und hier wird nach Risiko eingestuft, das heißt es gibt so vier Risikostufen, die dann immer definieren mit, okay, worum kümmert sich ein solches KI-basiertes System und wenn es diese und jene Dinge macht, dann steigt es gegebenenfalls in eine weitere Risikostufe auf. Also wenn du zum Beispiel mit biometrischen Daten oder Sozialversicherungsinformationen oder sowas umgehst und dann bist du irgendwie automatisch schon mal in der höchsten Risikostufe. Außerdem gibt es dann noch spezielle Regelungen für die sogenannte General Purpose AI. Das ist allerdings etwas, was jetzt auch erst dann im Zuge des AI-Hypes nachträglich noch eingeliefert wurde. Also man hat dann doch schon, also es ist jetzt mitnichten so, dass sie jetzt alles haben kommen sehen, sondern es war eher so ein generelles so, ja, wenn es dann mal da ist, dann brauchen wir da auch mal Regeln für. Aber dass dann eben so in kurzer Zeit so viele Anbieter so schnelle Fortschritte machen und so weiter, das hat sich dann glaube ich auch ein bisschen überrascht. General Purpose AI, ich meine das ist ja so ein Begriff, der, innerhalb der AI Welt glaube ich auch selbst recht umstritten, also General Purpose oder General AI ist vielleicht jetzt nochmal ein bisschen was anderes also das eine ist quasi ja so diese Idee, dass du so eine generelle Intelligenz hast, die sozusagen auf alles anwendbar ist. Ich habe den Begriff glaube ich nicht genau getroffen. Wie nehmen wir das nochmal ganz genau?

Linus Neumann
0:30:32
Tim Pritlove
0:30:35

Wie auch immer, was die damit meinen, sind diese multimodalen Modelle, die halt irgendwie mit Text, mit Bild und Video und so weiter umgehen können. Und halt auch generell solche mit großer Leistungsfähigkeit. Und wenn du jetzt so ein Hochrisikosystem bist, dann musst du halt irgendwie als Anbieter Risikomanagementsysteme bereitstellen, du musst irgendwie dafür sorgen, dass du eine gewisse Datenqualität hast, du musst irgendwie menschliche Aufsicht bereitstellen, du musst dein Personal schulen und nachweisen, dass die bestimmte Kenntnisse haben und so weiter. Es sei denn du bist Militär oder Geheimdienste dann gelten diese Einschränkungen natürlich nicht, genau naja und das kommt jetzt also so schrittweise Schritt für Schritt ist das dann eben Fortschrift, für Unternehmen die in Europa halt was anbieten europäische Unternehmen scheinen jetzt nicht so begeistert zu sein also, was weiß ich, so Siemens meint so, ja, das wäre jetzt im Wesentlichen der Grund warum wir da jetzt auch nicht mitspielen, weil, Ungewissheiten und wir wissen gar nicht, worauf wir uns hier irgendwie, das hält einen ja nur davon ab, einfach mal loszumarschieren, während die anderen halt schon lange unterwegs sind. Während die großen Anbieter, also die, die wir schon die ganze Zeit besprechen, also neben OpenAI, so Anthropik und Microsoft etc. Google, in dem Zusammenhang eigentlich eher jetzt auf den letzten Metern auf mehr Klarstellung, gedrängt haben. Ich glaube, die haben sich nicht unbedingt generell einer Regulierung verschlossen. Das ist ja auch eine Diskussion, die gibt es ja schon länger. Wir erinnern uns, gerade als das schon losging, war ja Sam Altman auch so ganz schnell dabei und hat gesagt, ja, wir müssen unbedingt reguliert werden. Wir sind ja unglaublich gefährlich und die Welt kann untergehen und man hat sich immer so ein bisschen gefragt, ich mich auch, warum sagt er denn das eigentlich? Und naja, vielleicht stecken da zwei Botschaften gleichzeitig drin. Erstens, hört mal, wir sind so irre gut, wir können die ganze Welt ins Wanken bringen. Das ist natürlich eine super Promotion für das eigene Produkt, und Und wenn man sich eben in so einem Vorteil wähnt und dann nach Regulierung schreit, dann bedeutet das natürlich auch, dass du damit natürlich Regeln auf einmal... Regeln beschlossen werden, die auf der einen Seite so ein bisschen den Status Quo natürlich erstmal akzeptieren müssen. Du kannst ja nicht sagen, schaltet mal alles ab, das funktioniert alles nicht. Was aber andererseits für potenzielle Mitbewerber auch schwieriger macht, hier noch einen Einstieg in das Feld vorzunehmen. Und vielleicht kann man diese Äußerung von Sam Oldman auch mal so lesen.

Linus Neumann
0:33:44
Tim Pritlove
0:33:48

Jaja, aber das hängt ja alles ein bisschen zusammen. Es gibt dann auch noch so einen freiwilligen General Purpose AI, sogenannten Code of Practice, der nochmal im letzten Jahr entwickelt wurde zusätzlich. Also das hat dann sozusagen Geschwindigkeit aufgenommen. Und das ist etwas, was Anbietern die Möglichkeit gibt, über Word-Dokumente mit Checkboxen und so weiter zu deklarieren, was es denn ist, was man hier überhaupt anbietet. Es teilt sich in verschiedene Gruppen ein, da gibt man also eine gewisse Transparenzpreis, also wer hat hier genau mit welchen Daten trainiert, welche Ressourcen wurden dabei verbraucht und so weiter. Dann gibt es einen Blog, der sich explizit interessanterweise aufs Urheberrecht bezieht also dass man sagt ja, nee, hier keine illegale Datenbeschaffung, alles ganz, legal, aber dann eben auch so Sachen wie diese Diskussion um Robots TXT, also die Möglichkeit von Webseiten zu sagen, ich will aber nicht dass ihr auf meinen Daten trainiert, also da kann man halt deklarieren, ob man das sozusagen berücksichtigt oder nicht und natürlich so Sicherheitsaspekte also ja, mit Bei uns kann man keinen AI-Revenge-Porn erzeugen und hier werden auch keine Massenvernichtungswaffen gemacht und vielleicht demnächst auch keine Suizide mehr unterstützt werden. Das Ganze ist alles so ein freiwilliges Ding. Daran teilzunehmen, wird so ein bisschen interpretiert als, naja, man deklariert damit schon mal, dass man grundsätzlich bereit ist, hier an dem Prozess teilzunehmen. Das heißt ein bisschen wischiwaschi. Und Microsoft OpenAI und Anstropik haben auch gesagt, so ja prima, machen wir. Google weiß noch nicht und Meta wiederum hat sich aber ganz klar dagegen ausgesprochen, hat gesagt, so einen Scheiß, da nehmen wir gar nicht dran teil. Könnt ihr komplett vergessen, wir ziehen hier unsere Nummer alleine durch. Und Mitter ist eh völlig irre irgendwie, also Zuckerberg scheint auf dieses AI-Thema total abzugehen. Unter anderem ist ja bekannt geworden, dass die so auf so einer Hiring-Spree sind, also die versuchen halt so Top-AI-Leute abzuwerben von anderen Unternehmen, tun das auch. Und zahlen dabei so Ablösesummen, wie man sie so aus dem Profifußball kennt. Also sowas wie, wenn du zu uns gehst, dann kriegst du irgendwie sowas wie 100 Millionen Dollar.

Linus Neumann
0:36:29
Tim Pritlove
0:36:36
Linus Neumann
0:37:24
Tim Pritlove
0:37:34
Linus Neumann
0:37:50
Tim Pritlove
0:38:16
Linus Neumann
0:39:26

Also was diese Verordnung zum Beispiel verlangt, sind eben diese Risikobewertungen, dass du überhaupt erstmal sagst, was soll dieses Modell hier eigentlich machen und daraus ergibt sich dann, ist das überhaupt riskant, was du hier machst? Dann gibt es Qualitätsanforderungen für die Daten, Diskriminierungsverbot, klar, wenn in dem Ding irgendwas beibringen darfst und eben auch Dokumentationspflichten darüber, was das Ding macht, welche Entscheidung es trifft oder so. Also klingt erstmal schon alles halbwegs sinnvoll, aber es ist aber natürlich etwas bitter, wenn eine derartige Regulierung eher zum Standortnachteil wird. Also du hast ja. Also machen wir uns nichts vor, Deutschland ist bei dieser Entwicklung nicht vorne dabei und Regulierungen, die diese Technologie einschränken, das hast du ja auch gerade schon so ein bisschen gesagt, wenn sich jetzt die US-Unternehmen sagen, das ist schön, was ihr da macht, ist so ein Scheißegal, wenn ihr benutzt so Sachen eben nicht. Und Deutschland oder Europa nicht wirklich was auf der Hand hat, dann ist auch diese Regulierung eben machtlos. Und wenn du nicht hingehst und sagst so, diese Regulierung werden wir aber auch durchsetzen. Dann gibt es eben in Europa keine KI. Und dieser Stand-off, den traut sich Europa ja nicht so wirklich. Und entsprechend, wenn du eine halbherzige Regulierung machst und tolerierst, dass andere sich eben nicht dran halten, dann schneidest du einfach nur in dein eigenes Fleisch, weil dann werden andere einfach ohne diesen regulatory overhead ihren Tanz machen und ihre AIs machen und fertig ist. Und danach sieht das für mich gerade so ein bisschen aus ich denke durchaus sinnvolle Ideen drin aber wenn du dann sagst, der Staat muss sich jetzt erstmal sowieso nicht dran halten der muss ja nur die Demokratie verteidigen der muss ja jetzt nicht, auf einmal aufpassen dass er nicht dabei diskutiert oder so das wäre jetzt ein bisschen aufwendig und, da bin ich nicht so sicher Tja, wie schön das jetzt ist. Werden wir mal sehen. Erstmal wird jetzt halt noch niemanden so wirklich treffen, ne? Und dann gibt es diesen, was ist mit diesem Code of Practice?

Tim Pritlove
0:42:11
Linus Neumann
0:42:31
Tim Pritlove
0:42:33
Linus Neumann
0:43:24
Tim Pritlove
0:44:29
Linus Neumann
0:44:31
Tim Pritlove
0:44:33
Linus Neumann
0:44:36
Tim Pritlove
0:44:41
Linus Neumann
0:44:44

Es spart ihnen das Geld, was sie sonst anderen Browser-Herstellern bezahlen müssten, damit ihre Google-Searchbar standardmäßig da drin ist. Diese Diskussion hatten wir, wir haben es ja sehr ausführlich besprochen, aber natürlich ist die Idee, warum Google diesen Browser hat, dass sie damit sicherstellen, dass es schön bei Google gesucht wird. Und entsprechend fragst du dich, wer würde denn Google Chrome kaufen, stellt sich raus, Perplexity und OpenAI haben natürlich großes Interesse, dieses Ding zu kaufen. Perplexity hat 34,5 Milliarden US-Dollar dafür angeboten, hat gesagt, die Kohle haben wir von Investoren gesichert. Dieser Preis übertrifft bei Weitem den Wert von Perplexity. Aber es ist natürlich auch selbstverständlich, dass der Wert unmittelbar, sobald Perplexity oder wenn es OpenAI, OpenAI hat auch eine Kaufabsicht bekundet, egal welches AI-Unternehmen den Browser kauft, ja, also das ist ja, auf den meisten Computern ist Google Chrome der Internetknopf, ne? Und wenn du jetzt sagst, wir sind hier OpenAI mit ChatGPT oder wir sind Perplexity und wir können uns für einen niedrigen zweistelligen Milliardenbetrag den Internetknopf kaufen. Das würde ich schon machen an deren Stelle. Und dass die natürlich den Browser letztendlich, also ich meine, die Technologie, die sie bauen, auch das hatten wir ja hier in den Kommentaren und in den Sendungen schon regelmäßig besprochen, die Technologie, die sie da bauen, ist de facto das Ende des Browsers und des Netzes. Wenn das so weitergeht, ist das nicht mehr Webseite, Quatsch, Wikipedia-Seite oder so, das wird es einfach nicht mehr geben du kannst eine API bauen und wenn du Glück hast, schickt dir jemand eine KI vorbei und fragt danach also es ist ja jetzt schon übrigens ein Problem dass die ganzen lernenden KIs auf den Webseiten rumhämmern und einen großen Teil des Traffics ausmachen das soll ja nicht so bleiben, oder sagen wir mal, das soll ja auf jeden Fall effizienter gemacht werden und deren Ziel ist natürlich, wenn Perplexity sagt, wir wollen Chrome sein, dann ist das Ziel, dass du das Ding aufmachst und dann ist da Perplexity und dann bleibst du auch da, bitteschön. Und auch dieser ganze Werbemarkt, wie wir ihn jetzt kennen. Die schicken sich auf jeden Fall an, das neue Interface zu sein und die neue Integration. Und in solchen Geboten kann man dann natürlich, gibt es einen kleinen Blitz von, wie die Zukunft dann wohl so aussehen soll nach deren Vorstellungen und ich glaube, das ist nicht so unwahrscheinlich, dass sie auch so aussehen wird.

Tim Pritlove
0:47:54
Linus Neumann
0:48:32
Tim Pritlove
0:48:49
Linus Neumann
0:49:04
Tim Pritlove
0:49:07
Linus Neumann
0:49:24
Tim Pritlove
0:50:00
Linus Neumann
0:50:03
Tim Pritlove
0:50:07
Linus Neumann
0:50:09
Tim Pritlove
0:50:18
Linus Neumann
0:50:37
Tim Pritlove
0:50:41
Linus Neumann
0:50:55
Tim Pritlove
0:50:58
Linus Neumann
0:51:41
Tim Pritlove
0:51:47
Linus Neumann
0:51:54
Tim Pritlove
0:52:56
Linus Neumann
0:52:58
Tim Pritlove
0:54:00
Linus Neumann
0:54:01
Tim Pritlove
0:54:07
Linus Neumann
0:54:19
Tim Pritlove
0:54:23
Linus Neumann
0:54:48
Tim Pritlove
0:55:10
Linus Neumann
0:55:43
Tim Pritlove
0:56:45
Linus Neumann
0:56:49
Tim Pritlove
0:57:53
Linus Neumann
0:58:03
Tim Pritlove
0:58:04
Linus Neumann
0:58:07
Tim Pritlove
0:58:08

Bei PayPal? Guck mal, ob noch Kohle da ist. Ja, es gab wohl einen Ausfall eines Systems zur Erkennung betrügerischer Aktivitäten bei PayPal. Deren Aufgabe ist festzustellen, wenn irgendwelche Betrüger versuchen, unrechtmäßig Geld von fremden Konten abzubuchen. Und ja, das ist wohl irgendwie, hatte Fehler oder ist komplett ausgefallen, ein bisschen unklar, was dazu geführt hat, dass sämtliche Lastschriften, die aufliefen, ungeprüft durchgeführt wurden. Also ein Schutzsystem, was normalerweise diese ganzen Lastschriften, die dort auflaufen, prüft, hat es dann nicht mehr so geprüft. Und das ist wohl auch den Sicherheitssystemen deutscher Banken aufgefallen. Ich weiß jetzt in diesem Bericht ist nur von deutschen Banken die Rede, mögen auch noch andere Banken gewesen sein, aber deutsche Banken waren definitiv Teil des Spiels, aber ich glaube Lastschrift ist im Wesentlichen auch ein deutsches Ding, von daher mag es sich auch nur auf den deutschen Markt im Wesentlichen beziehen. Also du hast in Europa nicht überall dieses Prinzip von das Schrift. So ein typisch deutsches Bankenprodukt. Wir haben zwar mittlerweile so einen EU-harmonisierten Bankenmarkt, aber das heißt nicht automatisch, dass du all die Produkte, die wir jetzt aus Deutschland gewohnt sind, genauso auch in anderen Ländern findest. Naja, auf jeden Fall scheint es den Sicherheitssystemen deutscher Banken aufgefallen zu sein, dass PayPal einfach alles ungeprüft durchführt. Also offensichtlich haben sie nicht mehr so viele Rejections bekommen oder so, keine Ahnung. Naja, was wohl dann eben auch dazu geführt hat, dass Benutzer sich über illegale Abbuchungen beklagt haben oder eben dann, weil die deutschen Banken ihre Lastschriften dann nämlich komplett zu PayPal blockiert haben, dass eben Überweisungen, mit denen sie gerechnet haben, dann nicht gekommen sind. Möglicher Umfang dieser blockierten Zahlungen geschätzt 10 Milliarden Euro.

Linus Neumann
1:00:28
Tim Pritlove
1:00:33
Linus Neumann
1:00:57
Tim Pritlove
1:01:12
Linus Neumann
1:01:22
Tim Pritlove
1:01:33
Linus Neumann
1:01:52
Tim Pritlove
1:01:55
Linus Neumann
1:01:57
Tim Pritlove
1:02:08
Linus Neumann
1:02:10
Tim Pritlove
1:02:12
Linus Neumann
1:02:16
Tim Pritlove
1:02:17
Linus Neumann
1:02:31
Tim Pritlove
1:02:32
Linus Neumann
1:03:46
Tim Pritlove
1:03:53
Linus Neumann
1:04:22
Tim Pritlove
1:05:00
Linus Neumann
1:05:12

Das hat zu mir das Vero-Wolleten eben das Geld. Naja. Interessant finde ich, aber ja, gut. Dann gab es jetzt eine, und ich finde... Das habe ich ja bei dir jetzt auch rausgehört, ja, Paypal ist im Fraud-Prevention-System ausgefallen. Super ärgerlich, ja. Also ist es natürlich auch für die Banken, das ist ein, die Leute, denen jetzt das Geld fehlt oder das, wo das Geld nicht durchgekommen ist, die geben ja nicht Paypal die Schuld, sondern der Bank. Weil das Geld fehlt ja von der Bank und nicht vom Paypal. So, das heißt, und das ist glaube ich auch der Grund, warum diese Diskussion da jetzt so geführt wird, Dass die deutschen Banken jetzt die unzufriedenen Kundinnen haben, während PayPal schuld ist. Das kann ich mir als einzigen halbwegs sinnvollen Grund dafür vorstellen, dass man überhaupt eine digitale Souveränitätsdebatte daraus entstehen lässt. Weil außer dass Paypal Amerikanern gehört, ist da ja jetzt nichts anders dran, aber dieser Fehler ist ja jetzt auch nicht passiert, weil sie Amerikaner sind. Insofern ist diese Debatte so ein bisschen komisch, allerdings hat sich dann, und das war dann das nächste große Thema, in diesem Kontext auch mal die Claudia Plattner von der vom BSI geäußert zum Thema digitale Souveränität. Und dann sagt sie, nun, es gibt zwar hier Fortschritte, aber es ist doch klar, dass manche der großen Firmen, vor allem aus den USA, jetzt schon zehn Jahre Vorsprung haben, was entsprechende Investitionen angeht. Und somit machte die Meldung die Runde, dass Claudia Plattner sagt, digitale Souveränität ist für Deutschland vorerst einfach mal nicht erreichbar. Hate to break it to you. Und sagt dann, naja, man braucht eine Strategie, was man von außen kauft und wie man darüber eine gewisse Kontrolle gewinnt. Beispielsweise, indem das BSI mit Google kooperiert, nennt sie jetzt als Beispiel, und Datensouveränität irgendwie in den Cloud-Lösungen nochmal versucht wird, herzustellen. Ja, und dass es jetzt letztendlich natürlich Deutschland sich Gedanken machen muss, möglichst schnell irgendwo noch bei KI irgendwie was hinzukriegen und Sicherheit. Aber dass jetzt so die Idee in nächster Zeit hier mal einen auf souveräne, also digitale Souveränität zu erreichen, absurd ist. Und jetzt finde ich das, also auf eine Weise glaube ich, sie hat jetzt einfach mal nur die Wahrheit gesagt. Sie hat jetzt einfach nur mal gesagt, Leute, lass uns mal ehrlich machen. Das werden wir jetzt so nicht.

Tim Pritlove
1:08:27
Linus Neumann
1:08:29
Tim Pritlove
1:09:11
Linus Neumann
1:09:21
Tim Pritlove
1:10:00
Linus Neumann
1:10:05
Tim Pritlove
1:10:12
Linus Neumann
1:10:13
Tim Pritlove
1:10:16
Linus Neumann
1:10:20
Tim Pritlove
1:12:04
Linus Neumann
1:12:24
Tim Pritlove
1:13:02
Linus Neumann
1:13:07
Tim Pritlove
1:13:10
Linus Neumann
1:13:14
Tim Pritlove
1:13:20
Linus Neumann
1:13:21
Tim Pritlove
1:14:39
Linus Neumann
1:14:44
Tim Pritlove
1:14:55
Linus Neumann
1:15:01
Tim Pritlove
1:15:58
Linus Neumann
1:16:01
Tim Pritlove
1:16:04
Linus Neumann
1:16:05
Tim Pritlove
1:16:12
Linus Neumann
1:16:15
Tim Pritlove
1:16:15
Linus Neumann
1:16:16
Tim Pritlove
1:18:27
Linus Neumann
1:18:31
Tim Pritlove
1:19:41
Linus Neumann
1:19:45
Tim Pritlove
1:19:53
Linus Neumann
1:19:56
Tim Pritlove
1:19:58
Linus Neumann
1:19:59
Tim Pritlove
1:20:17
Linus Neumann
1:20:21
Tim Pritlove
1:21:21
Linus Neumann
1:21:25
Tim Pritlove
1:21:46
Linus Neumann
1:21:53
Tim Pritlove
1:23:35
Linus Neumann
1:24:00
Tim Pritlove
1:24:30
Linus Neumann
1:24:37
Tim Pritlove
1:24:39
Linus Neumann
1:24:44
Tim Pritlove
1:24:46
Linus Neumann
1:25:10
Tim Pritlove
1:25:25
Linus Neumann
1:25:38
Tim Pritlove
1:25:43
Linus Neumann
1:25:45
Tim Pritlove
1:26:20
Linus Neumann
1:26:22
Tim Pritlove
1:26:36
Linus Neumann
1:26:40

Nee, 2.0. Und da geht es ihm um Biometrie und polizeiliche Datenanalyse. Und er möchte, also wir erinnern uns ja an den Daniela-Klette-Fall, die RAF-Terroristin, die, relativ unbehelligt halt hier in Berlin gewohnt hat und irgendwann nach meiner Überzeugung von diesem Podcast-Team, mit einem einfachen hier, guck mal, hier kann du mal bitte diese AI gucken, wer auf Facebook das ist und dann haben sie die auf der Seite von dieser Capoeira-Schule da gefunden und das war sie dann, ja. Und dann hat die Polizei gesagt, wir haben die gefunden, wir sind voll cool, guck mal, was wir gemacht haben mit Internet und so, oder? Und jetzt möchte der Dobrindt gerne, dass die Polizei das grundsätzlich erstmal darf, und zwar das gesamte Internet nach Verdächtigen oder auch Zeugen durchsuchen im Rahmen ihrer Aufgabenerfüllung das bedeutet also keinerlei Grenzen, also nicht irgendwie so, darf Terroristen damit suchen oder so oder darf, was weiß ich schwere Schwerverbrecher damit suchen, sondern im Rahmen ihrer Aufgabenerfüllung heißt so einfach einmal, also egal wann. Aufgabenerfüllung ist ja fast immer. Und tja, das ist natürlich ein hat natürlich ein ganz fürchterliches Missbrauchspotenzial, aber natürlich auch brauchst du dafür halt diese Gesichterdatenbank. Jetzt haben sie natürlich schon eine von den Passfotos, Das wurde ja schon vor Jahren quasi breiter verteilt. Also erst wurden die Passfotos, die biometrischen Passfotos gesammelt, dann wurden die Datenbanken zusammengeführt, dann wurde der Zugriff darauf ermöglicht. Und jetzt möchten sie eben das gesamte Internet, Social Media und so weiter nach Personen durchsuchen können. Und dafür brauchen sie eben riesige Datenbanken der Menschen, die im Internet abgebildet sind. Also du brauchst einmal natürlich die Datenbank, wo du deine Suchmarker drin hast und dann musst du die ganze Zeit im Internet suchen. Dann machst du halt riesige Datenbanken und um die irgendwie kleiner zu kriegen, clusterst du natürlich die Gesichter, die du erkennst. Weil sonst wird das Internet ja nicht durch... Wenn du jedes Gesicht als ein neues behandeln würdest, müsstest du ja auch immer durch das gesamte Internet suchen. Aber wenn du einfach sagst, okay, ich kenne einfach die Gesichter aus dem Internet und jetzt lasse ich diesen Strom an mir vorbeilaufen, identifiziere die und wenn ich irgendjemanden nicht identifiziert habe, dann lege ich ein neues Gesicht an, dann kannst du nur, wenn du einen solchen Index hättest, kannst du ja auch schnell da drin suchen. Und das bedeutet, sie würden quasi eine Gesichtsdatenbank vom Internet bauen, die aber eben nach Artikel 5 der KI-Verordnung, haben wir gerade darüber gesprochen, verboten ist, dass Massenüberwachung und umfassende Profilbildung ist. Aber das interessiert ja den Dobrindt nicht, der möchte das gerne haben. Also biometrische Massenüberwachung im Internet mit Profilbildung, das hätte er gerne. Und dann sagt er, er würde gerne automatisiert persönliche Daten aus bisher getrennten Datenbanken in eine Super-Datenbank zusammenführen. Super-Datenbank, Cyber-Dom. Und damit dann eben eine KI-gestützte Auswertung riesiger Datenmengen. Ja, wovon ist die Rede? natürlich, letztendlich geht es da um Palantir Gotham. Das möchte er auf Bundesebene haben. Ist in Deutschland jetzt in drei Bundesländern unter Hessendata, DAR und VERA schon im Betrieb. Und Thema digitale Souveränität. Also erstens, das ist das IT-Sicherheitspaket 2, Palantir und biometrische Maßenüberwachung im Internet. Herzlichen Dank. Da sind wir gegen, falls das noch nicht rausge... Falls man das noch nicht so rausgehört hat. Was ich aber auch sehr interessant finde, ist, dass ich dann in der Wirtschaftswoche so ein Artikel lese. Dabei gäbe es Alternativen, auch aus Deutschland. Unternehmen wie OneData bieten ebenfalls KI-basierte Analysewerkzeuge, die komplexe Datenmengen aus unterschiedlichen Daten, aus unterschiedlichen Quellen verknüpfen. Aber ihre Technik wird auf Basis europäischer Datenschutzstandards entwickelt frage ich mich also das kann ja nichts taugen, also entweder du machst eine super Datenbank oder nicht aber interessant finde ich dass der One Data CEO sich bei der Wirtschaftswoche dann im Gespräch beschwert, weil das der politische Wille fehlt, die Ausschreibungen die die Polizeibehörden machen sind oft so formuliert dass sie praktisch auf Palantir hinauslaufen. Das heißt, du hast, das machst du ja, wenn du was kaufen möchtest und das ist aber zu teuer und du musst es ausschreiben, dann beschreibst du halt sehr überspezifisch das so. Also so ungefähr so, wir möchten eine super Datenbank, die mit P anfängt und mit Alantir aufhört. Was ich aber sehr interessant finde, weil die gleichen Politikerinnen, die dann da, wenn man einen Tag PayPal 10 Milliarden in die falsche Richtung schiebt, sagen ja, digitale Souveränität, wir brauchen europäische Alternative oder so, aber ihre eigene Massenüberwachung.

Tim Pritlove
1:32:16
Linus Neumann
1:32:18
Tim Pritlove
1:32:28
Linus Neumann
1:32:47
Tim Pritlove
1:32:49
Linus Neumann
1:32:53
Tim Pritlove
1:33:28
Linus Neumann
1:33:30
Tim Pritlove
1:33:50
Linus Neumann
1:33:57
Tim Pritlove
1:34:07
Linus Neumann
1:34:08
Tim Pritlove
1:36:11
Linus Neumann
1:36:18

Also da, ich würde vermuten, dass es daran liegt, dass, also gerade jetzt so, wenn die große Online-Durchsuchung angeordnet wird, dann bist du irgendwo im Bereich auf jeden Fall der sehr schweren Straftatenorganisierten Kriminalität oder sonstigen. Und vermutlich werden Menschen, die derartiger Verbrechen verdächtig sind, schon besondere Sicherheitsvorkehrungen haben. Also würde ich vermuten, dass sie vielleicht besonders gehärtete Geräte haben oder besonders vorsichtig sind in ihrer Kommunikation oder so. Wäre jetzt so mein Verdacht, warum das potenziell eben die Erfolgswahrscheinlichkeit hier geringer ist bei den größeren Stadtzuhöner-Einsätzen. Wäre jetzt so mein Verdacht. Diese Fallzahlen wachsen sehr schnell, also es ist doppelt so viel wie im Vorjahr und das ist also die Statistiken. Das ist das Erste zum Thema Staatstrojaner. Zweitens gab es zwei Verfassungsbeschwerden, über die das Bundesverfassungsgericht entschieden hat. Und das betrifft jetzt den, also einmal das Polizeigesetz NRW, da gibt es die Befugnis zur Gefahrenabwehr in laufende Kommunikation einzugreifen, auch über Staatstrojaner. Da hat das Bundesverfassungsgericht gesagt, das passt so. Das ist in Ordnung. Gefahren abwählen, laufende Kommunikation eingreifen, sehen sie keinen Verstoß gegen das Grundgesetz. Aber in dem Paragraf 100a StPO, Strafprozessordnung. Da werden geregelt, in dem 100er werden diese ganzen Überwachungsmaßnahmen und Eingriffsmaßnahmen geregelt. Und in dem Paragraf 100a StPO ist eben hier Staatstrojaner und solche Quellenticker und sowas drin geregelt. Und da sagen sie, diese Maßnahme, Quellen-TKÜ, die dürfen nicht zur Aufklärung von Straftaten genutzt werden, die mit einer Höchststrafe von drei Jahren oder weniger geahndet werden. Und zwar ist es so, wenn du den 100a StPO anschaust, dann stehen da quasi aufgelistet die Straftaten, wegen derer ermittelt werden kann mit diesen Mitteln. Also wann darf man das zum Einsatz bringen? Und dann haben sie eben gesagt, naja, hier steht, weil das unter anderem auch kleinere Delikte umfasst, wo das Strafmaß vielleicht so gering ist. Das muss geregelt werden, dass das eben nicht für Kleinstdelikte zum Einsatz kommen darf. Und da findet sich diese schöne, in der Pressemitteilung dieser Satz, mit Blick auf den Strafrahmen einer Strafnorm liegt die besondere Schwere einer Straftat jedenfalls dann vor, wenn sie mit einer Höchstfreiheitsstrafe von mehr als fünf Jahren bedroht ist. Also sagen sie, da fängt eine schwere Straftat an. Eine besonders schwere. Und sind Straftaten allerdings nur mit einer Höchstfreiheitsstrafe von bis zu drei Jahren oder mit Geldstrafe bewährt und damit dem einfachen Kriminalitätsbereich zuzuordnen, schließt dies die Einordnung als besonders schwere Straftat von vornherein aus. Und sagen eben, deswegen kann, also alles, was nur eine, also sie möchten quasi diesen Ausschluss mit der Höchststrafe, dass sie sagen, erst wenn es mit mehr als drei Jahren Haft bedroht ist, was hier gerade vorgeworfen und ermittelt wird, dann darf man auch diese Quellentickerüdern durchführen. Und dann haben sie noch gesagt, bei der Online-Durchsuchung, also das ist der 100b-STPO, da sagen sie, der verstößt gegen das Grundgesetz. Da habe ich gedacht, ja stimmt, natürlich, ich meine, die hacken dein Gerät und lesen das aus der Ferne aus, aber da sagen sie, nur aus formalen Gründen, weil in dem Gesetzestext nicht die Grundrechtsbeschränkung ordnungsgemäß im Gesetzestext zitiert wird. Und das muss aber zitiert werden und deswegen bleibt das erstmal in Kraft da müssen sie quasi hinschreiben, dass sie sagen ja hier beschränken wir dann mit diesem Akt ein Grundrecht.

Tim Pritlove
1:41:16
Linus Neumann
1:41:26
Tim Pritlove
1:41:38
Linus Neumann
1:41:51
Tim Pritlove
1:41:54
Linus Neumann
1:41:54

Also sie sagen ja, der Absatz liest sich schwere Straftaten im Sinne des ersten Absatzes sind und dann listen sie von A bis V Straftaten auf und da sind eben auch so Dinge wie vorenthalten und veruntreuen von Arbeitsentgelt. Und ich vermute, dass in Deutschland vorenthalten und veruntreuen von Arbeitsentgelten nicht unbedingt eine Höchststrafe von mehr als drei Jahren genast hat. Sonst würde es hier in diesem Land, glaube ich, etwas anders aussehen. Also Länder, wo das und das ist glaube ich das, was sie damit meinen. Raub und Erpressung, Bandendiebstahl. Okay, also das so viel dazu, das ist jetzt glaube ich keine besonders große Veränderung. Aber immerhin werden diese Dinge vor Gericht nochmal ausgehandelt, Weil die Schwellen eben doch sehr gering waren für diesen Einsatz. Und wo wir schon bei den Verfassungsbeschwerden sind, der Fall Modern Solution, den wir hier auch regelmäßig im Logbuch Netzpolitik behandelt haben, zur Erinnerung. Modern Solution, ein Unternehmen, das eine Software so zum Management von Online-Shops oder sowas anbietet. Also Shop-Plattformen auch irgendwie Kaufland, Otto, Check24 benutzen diese Software. Und einer der Kunden dieses Unternehmens, Modern Solution, hatte ein Problem und hat damit zur Belösung dieses Problems einen freiberuflichen, selbstständigen IT-Experten und Programmierer gebeten, dieses Problem zu lösen. Weil er das Problem, ein Problem mit dieser Software lösen musste. Das Unternehmen kommt übrigens aus Gladbeck, die Modern Solution GmbH und Co. KG, man sollte den Namen relativ oft sagen und der hat sich diese Software angeschaut und quasi beim Debugging festgestellt, dass das Ding auf eine Datenbank zugreift, nämlich seinen Datenbank-Servern, also das ist einmal die Applikationskomponente, die läuft was weiß ich bei dir auf dem Computer und der verbindet sich dann zu einer Datenbank, die steht da auch, die ist auch von denen und das Passwort, mit dem der sich bei der Datenbank anmeldet, ist hartgecodet in der Software drin. Die Konsequenz davon ist, dass überall, wo diese Software ist, bei egal wem, ob sie jetzt bei Otto, Kaufland, Check24 oder eben diesem Kunden ist, das Passwort gleich ist. Und das ist schlecht, weil, ja, das muss man erklären, wenn du jetzt bei dem einen oder bei dem anderen bist, kannst du eben immer mit diesem Passwort auf diese Datenbank zugreifen. Und deswegen macht man ja Passwörter konfigurierbar und hardcoded die nicht. Diese Schwachstelle hat der Programmierer Modern Solution gemeldet und dann ein relativ zeitnah auch veröffentlicht. In einem Blog. Ich habe das Blog leider vergessen, aber das war schon ein bisschen nah dran. Die Reaktion war, Modern Solution hat den angezeigt und die Polizei hat seine Wohnung besucht, sein Arbeitsgerät beschlagnahmt und dann ist er durch mehrere Gerichtsurteile und er ist jetzt quasi rechtskräftig verurteilt, Denn das Gericht sah es als erwiesen an, dass sich der Mann strafbar gemacht hat, als er ein Passwort in der Software seines Kunden ausgelesen hatte, um Zugriff auf die dazugehörige Datenbank auf den Modern Solution Server zu bekommen. Also nicht, weil der die Sicherheitslücke über das Blog veröffentlicht hat oder so, sondern schon, dass er gesagt hat, alles klar, ich debugge mal hier dieses Ding, wo ist die Konfigurationsdatei, sag mal das Passwort von der Datenbankkunde, sagt, habe ich nicht, sagt er, wie hast du nicht. Guckt nach einer Konfigurationsdatei, findet keine Konfigurationsdatei und dann hat er wahrscheinlich irgendwie, ich weiß nicht wie man das bei Windows macht, aber wahrscheinlich hat das Strings auf das Bydery ausgeführt und hat nach SQL, gesucht und dann stand da wahrscheinlich irgendwo SQL-Passwort oder sowas. Also so ungefähr auf dem Niveau wird das gewesen. Quasi das, sagt das Gericht, das war schon ein, strafbarer Akt und er sagt, er hat das Passwort er hat ja nur den Zugriff auf die Datenbank gebraucht, um einen Fehler in der Software zu beheben, die bei seinem Kunden oder bei dem gemeinsamen Kunden zu Problemen führte. Und er. Und damit Gericht hat jetzt halt dann gesagt, ja, denn mit dem Paragraf 202a StGB, also Hackerparagraf im Jahr 2007, hat der Gesetzgeber ja offensichtlich bezweckt, das Hacken als solches unter Strafe zu stellen. Und unter diesem Aspekt sei ein Schutz, der nicht für jedermann einfach zum Gehen ist, ausreichend, um den Straftatbestand zu erfüllen. Strafe ist Geldstrafe, keine Haftstrafe, der hat jetzt wirklich eine relativ niedrige Geldstrafe bekommen. Aber, und das finde ich auch sehr sinnvoll und auch richtig, oder finde ich gut, dass der Betroffene und eben auch sein Anwalt sagen, Nee, also ja klar, aber das geht ja hier ums Prinzip, also dieses Urteil kann so nicht stehen bleiben, weil es eben ein irrsinniges Gesetz ist und wenn das jetzt durch die Instanzen durch ist, dann müssen wir eben eine Verfassungsbeschwerde. Und ich würde hoffen, dass diese Verfassungsbeschwerde Erfolg hat, weil ja erkennbar ist, dass dieser Mann nicht also dass der Fehler war bei Modern Solution. Die haben eine fahrlässige Schrottsoftware ihren Kunden verkauft mit die ganz sicher, also ein hart gecodetes Datenbankpasswort ist ein Produktmangel. Und nicht eine Sicherheitsmaßnahme, die ein böswilliger Hacker absichtlich umgangen hat.

Tim Pritlove
1:48:42
Linus Neumann
1:50:02
Tim Pritlove
1:51:45
Linus Neumann
1:51:53
Tim Pritlove
1:52:30
Linus Neumann
1:52:32
Tim Pritlove
1:52:45
Linus Neumann
1:52:50
Tim Pritlove
1:53:09
Linus Neumann
1:53:10
Tim Pritlove
1:53:14
Linus Neumann
1:53:28
Tim Pritlove
1:53:57
Linus Neumann
1:54:03
Tim Pritlove
1:54:17
Linus Neumann
1:54:19
Tim Pritlove
1:54:23
Linus Neumann
1:54:40
Tim Pritlove
1:54:44
Linus Neumann
1:54:48
Tim Pritlove
1:54:58
Linus Neumann
1:55:01
Tim Pritlove
1:55:02

Ja?

Linus Neumann
1:55:03
Tim Pritlove
1:55:04
Linus Neumann
1:55:26
Tim Pritlove
1:55:28
Linus Neumann
1:55:34
Tim Pritlove
1:55:36
Linus Neumann
1:55:38
Tim Pritlove
1:55:45
Linus Neumann
1:56:04
Tim Pritlove
1:56:24
Linus Neumann
1:56:28
Tim Pritlove
1:57:03
Linus Neumann
1:57:55
Tim Pritlove
1:58:06
Linus Neumann
1:58:11
Tim Pritlove
1:59:21
Linus Neumann
1:59:22
Tim Pritlove
1:59:35
Linus Neumann
1:59:42
Tim Pritlove
1:59:54
Linus Neumann
2:00:00
Tim Pritlove
2:00:01
Linus Neumann
2:00:08
Tim Pritlove
2:00:13
Linus Neumann
2:00:16
Tim Pritlove
2:00:33
Linus Neumann
2:00:42

Ja.

Tim Pritlove
2:00:44
Linus Neumann
2:00:57
Tim Pritlove
2:01:01
Linus Neumann
2:01:04
Tim Pritlove
2:01:06