Logbuch:Netzpolitik
Einblicke und Ausblicke in das netzpolitische Geschehen
https://logbuch-netzpolitik.de


LNP462 Qualität aus Europa

Feedback — Generationszugehörigkeit — Letzte Generation — Journalismus vs. Comedy — 5 Jahre DSGVO — Ende der De-Mail — KI — Cell Broadcast — Jobs

Heute gibt es mal wieder eine sehr unterhaltsame Folge und ihr werdet lernen, wie wichtig das ist, die sonstigen Informationen der Sendung konsumiert zu bekommen. Wir gehen dabei sehr viel auf Euer Feedback ein, so dass die Hauptthemen fast nicht mehr zu Wort kommen. Ja, so kann es kommen und so ist es gekommen. Kann man nix machen. Aber naja, was soll's, geht ja immer weiter. Genau wie dieses Format, das selten ein Ende findet. Aber am Ende findet nicht nur das Huhn ein Korn sondern eben auch der Podcast und so geht die Sendung jetzt so raus wie sie ist, kann man nix machen. So isses eben!

https://logbuch-netzpolitik.de/lnp462-qualitaet-aus-europa
Veröffentlicht am: 9. Juni 2023
Dauer: 1:41:45


Kapitel

  1. Intro 00:00:00.000
  2. Prolog 00:00:27.528
  3. Feedback: Letzte Generation 00:06:03.830
  4. Feedback: Generations-Zugehörigkeit 00:22:47.313
  5. Feedback: Faeser/Schönbohm 00:28:38.049
  6. Feedback: Journalismus vs. Comedy 00:31:11.653
  7. 5 Jahre DSGVO 00:43:45.117
  8. Ende der De-Mail 00:58:42.882
  9. KI == Ende der Menschheit? 01:04:20.904
  10. Cell Broadcast 01:25:46.474
  11. Jobs 01:31:59.946
  12. Epilog 01:37:20.661
  13. Bonus Track 01:40:10.348

Transkript

Tim Pritlove
0:00:00
Linus Neumann
0:00:01
Tim Pritlove
0:00:03
Linus Neumann
0:00:05
Tim Pritlove
0:00:27
Linus Neumann
0:00:35
Tim Pritlove
0:00:37
Linus Neumann
0:00:38
Tim Pritlove
0:00:38
Linus Neumann
0:00:40
Tim Pritlove
0:00:42
Linus Neumann
0:00:44
Tim Pritlove
0:00:45

Ja.

Linus Neumann
0:00:46
Tim Pritlove
0:00:56
Linus Neumann
0:01:03
Tim Pritlove
0:01:07
Linus Neumann
0:01:21
Tim Pritlove
0:01:22
Linus Neumann
0:01:24
Tim Pritlove
0:01:25
Linus Neumann
0:01:38
Tim Pritlove
0:01:39
Linus Neumann
0:01:49
Tim Pritlove
0:01:53
Linus Neumann
0:01:54
Tim Pritlove
0:02:01
Linus Neumann
0:02:05
Tim Pritlove
0:02:07
Linus Neumann
0:02:13
Tim Pritlove
0:02:13
Linus Neumann
0:02:18
Tim Pritlove
0:02:19
Linus Neumann
0:02:21
Tim Pritlove
0:02:23
Linus Neumann
0:02:32
Tim Pritlove
0:02:35
Linus Neumann
0:02:56
Tim Pritlove
0:03:11
Linus Neumann
0:03:21
Tim Pritlove
0:03:30
Linus Neumann
0:04:07
Tim Pritlove
0:04:10
Linus Neumann
0:04:11
Tim Pritlove
0:04:12
Linus Neumann
0:04:31
Tim Pritlove
0:04:34
Linus Neumann
0:04:55
Tim Pritlove
0:04:56
Linus Neumann
0:05:15
Tim Pritlove
0:05:20
Linus Neumann
0:05:27
Tim Pritlove
0:05:32
Linus Neumann
0:05:57

Die Klebefittinger, die sind ja, also ich war, obwohl das können wir gleich auch bei, können eigentlich erstmal direkt über letzte Generation Feedback sprechen. Ähm, oh, achso nee, ich wollte gar keinen spezifischen Kommentar, es gab nämlich genug, es gab genügend Kommentare zur letzten Generation und den schwerwiegenden Fällen von Nötigung, die die begehen. Dazu zwei Dinge, vielleicht sind wir nicht ausreichend darauf eingegangen, was es bedeutet, wenn ein Strafvermittlungsverfahren nach Paragraf 129 läuft, weil das bedeutet, dass du dann eben auch den vollen Katalog der Strafprozessordnung als in dem Ermittlungsverfahren nutzen darfst. Also Leute observieren, Telefone abhören, Wohnungen durchsuchen und so weiter, ne? Und ich denke, dass das auch vor allem der Grund ist, dass sie dieses Ermittlungsverfahren anstrengen, damit sie diese Maßnahmen ergreifen können. Und da gab es ja sehr viele Leute, die sich schwerwiegend eingeschränkt fühlten, dadurch, dass da ein paar Leute mal für den Stau sorgen. Wir hatten ja glaube ich auch klar gemacht, dass wir beide nicht unbedingt der Meinung sind, dass das jetzt der zielführendste aller Proteste ist, weil er eben den Nachteil hat, dass er genau das herbeiführt, nämlich sehr viele unglückliche Leute in der Mitte der Gesellschaft. Gleichzeitig habe ich ja den unsouveränen Umgang einiger männlicher Zeitgenossen mit diesen Leuten aufgezeigt. Da fühlten sich einige angesprochen. Sie sagten, es wären nicht nur Kartoffeln, die das machen. Es gäbe auch Mitbürger aus Europa und Eurasien, die ebenfalls mit Gewalt auf die letzte Generation reagiert hätten. Das ist keine Entschuldigung, meine lieben Freunde. Außerdem, Kartoffel ist eine Lebenseinstellung. Das hat nichts mit Nationalität zu tun. Und das ist a way of life. Potato is a way of life, ja.

Tim Pritlove
0:08:15
Linus Neumann
0:08:24
Tim Pritlove
0:09:05
Linus Neumann
0:09:06
Tim Pritlove
0:09:27
Linus Neumann
0:09:30
Tim Pritlove
0:11:01
Linus Neumann
0:11:02
Tim Pritlove
0:11:03
Linus Neumann
0:11:06
Tim Pritlove
0:11:08
Linus Neumann
0:11:16
Tim Pritlove
0:11:18
Linus Neumann
0:11:44
Tim Pritlove
0:13:07
Linus Neumann
0:13:58

Ich glaube da kommt noch ein anderer Faktor rein und zwar, ich mein, wenn du mal wirklich in Berlin jetzt beispielsweise, wenn du da mal Auto fährst, du wirst ja unmittelbar bescheuert, das erträgt ja kein Mensch. Du wirst ja sofort aggressiv. Überall Stau, alle acht Meter ne Ampel, hier Spurwechsel und so weiter. Die anderen alle aggressiv, schneiden dich und so weiter und ich find das völlig verständlich sogar, dass man. Wenn man jetzt zu Stoßzeiten in Berlin mit einem Auto fährt, gerade irgendwie morgens zur Arbeit, also ich mein, wenn man die bescheuerte Entscheidung trifft, morgens um neun Uhr durch Berlin Mitte mit dem Auto zu fahren, da muss man entweder vorher irgendwie sich echt einen guten Brüggungstee kochen, aber man darf auf gar keinen Fall irgendwie sagen man hat einen Termin oder so, du wirst halt wirklich aggressiv dabei, das ist eine frustrierende Erfahrung. Und das wundert mich auch nicht, dass die Leute dabei aggressiv werden. Was ich aber sehr spannend fand, ist, wie Leute das Herbeiführen eines Staus als so einen schwerwiegenden Eingriff in den Verkehr und ihre persönliche Freiheit nehmen. Weil, ich hab mal geschaut, 2019, also das war prä-Corona, verbrachen Autofahrerinnen und Fahrer durchschnittlich 46 Stunden im Stau. Das ist nur der Durchschnitt. Das wird jetzt einige geben, die dann einen sehr viel größeren Peak haben und ich würde schätzen, diejenigen, die in Berlin wohnen und meinen sie müssten morgens mit dem Auto zur Arbeit fahren, in Berlin Mitte, da könnte ich mir vorstellen, dass die die Zahl auch ein bisschen reißen, so. Aber 46 Stunden im Stau, das musst du mal auf dein Jahreskontingent rechnen. Im Prinzip also eine Stunde Stau pro Woche im Jahr oder natürlich auch in zwei Jahren, bleibt ja gleich. Und wenn du jetzt mal eine halbe Stunde stehlen musst, scheint mir das nicht so ein schwerer Eingriff in dein Leben zu sein. Die Reaktion klar, aber natürlich ist das ärgerlich, ganz klar. Aber es erlaubt dir nicht irgendwie mit Gewalt zu reagieren.

Tim Pritlove
0:16:20
Linus Neumann
0:16:24
Tim Pritlove
0:17:12
Linus Neumann
0:18:48
Tim Pritlove
0:18:50
Linus Neumann
0:22:08
Tim Pritlove
0:22:10
Linus Neumann
0:22:32
Tim Pritlove
0:22:42
Linus Neumann
0:22:44
Tim Pritlove
0:22:46
Linus Neumann
0:23:01
Tim Pritlove
0:23:03
Linus Neumann
0:23:29
Tim Pritlove
0:23:40
Linus Neumann
0:23:43
Tim Pritlove
0:23:45
Linus Neumann
0:23:53
Tim Pritlove
0:23:57
Linus Neumann
0:24:12
Tim Pritlove
0:24:20
Linus Neumann
0:24:26
Tim Pritlove
0:24:48
Linus Neumann
0:24:50
Tim Pritlove
0:25:28
Linus Neumann
0:25:36
Tim Pritlove
0:25:43
Linus Neumann
0:25:46
Tim Pritlove
0:25:47
Linus Neumann
0:26:19
Tim Pritlove
0:26:50
Linus Neumann
0:26:51

Y.

Tim Pritlove
0:26:51
Linus Neumann
0:26:53
Tim Pritlove
0:27:28
Linus Neumann
0:27:52
Tim Pritlove
0:28:03
Linus Neumann
0:28:17
Tim Pritlove
0:28:29
Linus Neumann
0:28:37

So dann haben wir Böhmermann kritisiert und dazu kommentiert, und zwar spezifisch die Fäser Schönbum Geschichte. Dazu kommentiert Henrik, die Schönbohm-Sendung von Böhmermann sehe ich gar nicht so negativ. Zum Zeitpunkt der Ausstrahlung wollte das ZDF-Magazin-Royalteam wohl ihren Zustauern einfach mal zeigen, wie unqualifiziert der Leiter des BSI ist. Klar, da wurde dann eine große Schau draus gemacht und nahezu alles war bereits bekannt, nur hatte das Thema wohl nicht die Aufmerksamkeit erhalten, die das Team für angebracht hielt. So gesehen ist die Tatsache, dass Schönbum sich eine Erlaubnis von oben geholt hat, um auf das Jubiläum zu gehen, auch eher eine Randnotiz, weil es ja nichts an seiner Unqualifiziertheit ändert. Dass Fäser auf die Sendung reagierte, wie sie reagierte, war dann doch nicht Böhmermanns Schuld. Ihr habt ja auch korrekterweise erwähnt, dass Fäser dabei nicht gut ausgesehen hat. Anstatt, dass Faeser auf die Regierung verweist, die Schönbrunn ernannt hatte, zu erläutern, warum der BSI-Chefposten nicht einfach ausgetauscht werden kann, und anstatt einzugestehen, dass die Erlaubnis zu Besuch des Jubiläums ein Fehler war, verfiel sie offenbar in eine Art Panikmodus. Vielmehr sehe ich die Fehler, die im Zusammenhang mit der Sendung passiert sind, bei Faeser können und nicht bei Böhmermann. bei Böhmermann. Daher halte ich es auch für unangebracht, hier vom Ruin einer Karriere durch Böhmermann zu reden. Was den Fall Hessenthaler angeht, bin ich komplett bei euch. Da muss sich Böhmermann wirklich unheimlich verrannt haben und seine anwaltlichen Reaktionen finde ich dreist und vollkommen unangebracht. Ja, Henrik, hast du einen sehr wichtigen Punkt. Klar, also abgesetzt wurde der Schönbumm von Frau Felser und ich hätte es nicht besser zusammenfassen können, als du das hier gemacht hast. Ich glaube es gab schon diese ist Schönbrunn noch im Amt Webseite von Böhmermann, aber okay, das ist auch ein altes Meme.

Tim Pritlove
0:30:44
Linus Neumann
0:30:52
Tim Pritlove
0:30:57
Linus Neumann
0:30:59
Tim Pritlove
0:31:11
Linus Neumann
0:31:50
Tim Pritlove
0:31:53
Linus Neumann
0:32:35
Tim Pritlove
0:32:42
Linus Neumann
0:33:29
Tim Pritlove
0:33:33
Linus Neumann
0:35:03
Tim Pritlove
0:35:06

Dadurch, dass es unterhaltsam ist, überhaupt erst konsumierbar gemacht hat, weil es ja auch immer schwierig ist, geht mir ja zum Beispiel auch so, ich verfolge jetzt irgendwie die ganze Zeit immer so Krieg in der Ukraine, gucke ich jeden Tag irgendwie eine halbe Stunde Content mindestens. Und wenn dann halt wieder so Rückschläge passieren, wie jetzt mit diesem Staudamm und so weiter, dann ist das halt auch immer so, oh fuck, gar keinen Bock auf schlechte Nachrichten und so und man muss irgendwie auch so ein Coping-Mechanismus haben. Und da hat Daily Show wirklich Wunder gewirkt. Perfektes Beispiel, ich hab neulich mal geschaut, leider ist die glaube ich nicht so ohne weiteres online zu finden, aber falls ihr die Möglichkeit habt das nochmal irgendwo aufzuspüren, vielleicht findet ja jemand einen Link. Damals als dieser Katrina Sturm über New Orleans rüber ging, da gab's tatsächlich gerade Sendepause bei Daily Show, die erste Sendung quasi ein paar Tage nachdem das Desaster sich da entwickelt hat. Die Sendung über Katrina von Daily Show total episch, also das war einfach die Art und Weise, wie man mit so einem totalen Desaster und Zusammenbruch eigentlich so der Gesellschaft in den USA, die es ja letztlich war durch die unterlassene Hilfeleistung dort, wie man damit umgegangen ist und wie die in dieser Sendung umgegangen sind und wie die einfach über den Humor das noch konsumierbar gemacht haben, das war wirklich wegweisend. Dann stieg halt der Stern von Daily Show auch sehr schnell auf und John Oliver und viele andere, die heutzutage ganz große, Steven Colbert und eine ganze Reihe von weiteren, waren ja dann alle in dieser Show die sogenannten Korrespondenten. Dieses Prinzip, was du ja auch bei der Heute Show hast.

Linus Neumann
0:36:45
Tim Pritlove
0:36:59
Linus Neumann
0:37:02
Tim Pritlove
0:37:04
Linus Neumann
0:37:48
Tim Pritlove
0:38:06
Linus Neumann
0:38:40
Tim Pritlove
0:38:43
Linus Neumann
0:38:47
Tim Pritlove
0:39:00
Linus Neumann
0:39:04
Tim Pritlove
0:39:07

Nee, aber ich finde das auch einen wichtigen Punkt, weil um vielleicht mal zum Kernargument dieses Kommentars zurückzukommen und diesem Verhältnis, okay, was ist denn jetzt sozusagen Journalismus? Und ich glaube, das ist generell eine Gummibezeichnung. Also das ist einfach, da hat so jeder seinen eigenen Ansatz und ehrlich gesagt, ich hab mir diese Frage ja auch schon gestellt. Nicht, dass ich mich jetzt als Comedy-Vertreter verstehe, aber diese Frage, wie viel Journalismus ist jetzt zum Beispiel in meinen Podcast-Formaten? In diesem vielleicht mehr, in gewisser Hinsicht, aber... Ich arbeite nicht journalistisch, in dem eigentlichen Sinne. Auch ich sehe das Podcasting primär über den Aspekt der Unterhaltung, aber eben genau mit so einem ähnlichen Spin vielleicht, sodass ich denke so unterhaltsam über die Themen zu reden, die uns alle bewegen, ist auch eine Methode sich damit auseinanderzusetzen, Ohne dass man das gleich unter dieser Kategorie Journalismus abheften muss, die so eine gewisse Ernsthaftigkeit immer in den Raum trägt und dann auch sagt so, hier gibt es die Standards, die musst du erfüllen und so weiter, sonst ist es nicht richtig und dann ist es nicht wahr und so weiter und ich denke, es gibt halt auch noch andere Darreichungsformen. Deswegen kann ich sowohl Böhmermanns als auch John-Olivers Ansatz verstehen zu sagen, nee, das ist jetzt nicht das wo ich herkomme. Wir beschäftigen uns zwar mit denselben Themen, aber deswegen ist es nicht zwangsläufig in der Kategorie Journalismus. 100 Prozent.

Linus Neumann
0:40:46
Tim Pritlove
0:42:04
Linus Neumann
0:43:45
Tim Pritlove
0:43:48
Linus Neumann
0:43:51
Tim Pritlove
0:44:04
Linus Neumann
0:44:18
Tim Pritlove
0:44:21
Linus Neumann
0:44:28
Tim Pritlove
0:44:39
Linus Neumann
0:44:41
Tim Pritlove
0:44:53
Linus Neumann
0:45:04
Tim Pritlove
0:45:31
Linus Neumann
0:47:02

Ich find natürlich, es ist ein bisschen spät gekommen. Hätten wir das früher gehabt, hätte es viele Zentralisierungen und Geschäftsmodelle noch verhindern können oder verändern können in ihren negativen Auswirkungen. Finde die DSGVO ist schon ein Beispiel von hinterher reguliert, ob man es jetzt positiv oder negativ sieht, aber auf jeden Fall hat hier die Politik sehr viel erst mal geschehen lassen, bis sie eingegriffen hat. Jetzt finde ich aber gleichzeitig, und damit waren aber auch schon Dinge wiederum zementiert. Gleichermaßen habe ich aber, wenn man jetzt das nur am Rande, es wird ja auch der AI-Act diskutiert, den wir in der nächsten Sendung mal besprechen, wo man natürlich auch sich überlegen muss, dass potenziell zu früher ein Griff auch echt ein Standortnachteil sein kann. Jetzt haben wir leider bei der DSGVO die Situation, wir haben jetzt... Wir haben den Standortnachteil und die späte Regulierung. Da haben wir irgendwie von beiden das schlechte. Aber schauen wir mal, was Alexander und Ingo benennen. Erstens, ein eingelöstes Versprechen, höhere Bußgelder. Wir haben ja jetzt kürzlich, FaceMeta wurde jetzt irgendwie für 1,2 Milliarden. Strafe müssen die bezahlen. Also Strafen bei Datenschutzverstößen passieren. Insgesamt in den vergangenen fünf Jahren rund 2,8 Milliarden Euro an Bußgeldern. 1,2 Milliarden Meter für illegale Verarbeitung von EU-Daten in den USA. Bis dahin war die höchste Strafe 750 Millionen Euro gegen Amazon. Also es gibt Strafen und diese Strafen haben natürlich einen oder es gibt Bußgelder und diese Bußgelder haben natürlich einen wichtigen Punkt. Nämlich dass das Verletzen von Datenschutzrechten der Bürgerinnen und Bürger überhaupt monetär spürbar schmerzhaft wird. Ja, das was sonst nicht der Fall war, deswegen wurden eben auch diese Rechte die ganze Zeit verletzt. Dann sagen sie zweitens, das Recht auf Datenauskunft, ein wirksames Werkzeug, da habe ich eigentlich mich gewundert, weil naja so wirklich viel Gebrauch machen Leute davon nicht und ich habe auch nicht den Eindruck, dass es viel macht. Entsprechend kommen sie auch zum Schluss, sein Potenzial hat das Recht aber auch nach fünf Jahren noch nicht voll entfaltet. Oft versuchen Unternehmen die Anfragen dann mit oberflächlichen Auskämpften abzuspeisen. Erst Anfang Mai. Hat der entschied der europäische Gerichtsruf nach einer Klage der NGO none of your business. Max Schrems kennen wir. Das Betroffene auf Anfrage eine originalgetreue und verständliche Reproduktion all ihrer Daten erhalten müssen. Wir erinnern uns an Max der irgendwie anfangs seine Facebook Daten da irgendwie als PDF bekommen hatte. Das betrifft nicht nur Rohdaten aus Datenbanken, sondern auch den Kontext in dem die Daten gespeichert und verarbeitet werden. Also, schönes Recht, wirksames Werkzeug, frage ich mich wie sie zu dem Schluss kommen, weil die Frage ist, was wäre denn die Wirkung dieses Werkzeugs, ne? Also was kannst du denn machen? Und da sehe ich irgendwie noch nicht so, also sehe ich noch nicht gegeben, dass das zu einer gesellschaftlichen Veränderung führt, außer dass ein paar Nerds dieses interessiert sich die Daten geben lassen können, ne? Drittens, die Macht der vielen. Stark dank der Zivilgesellschaft. Und da geht es um den Punkt, dass Organisationen, wie jetzt beispielsweise NGO, deshalb ist es wichtig, dass NGOs, wie zum Beispiel None of your Business, konkrete Beschwerden einreichen und Verfahren führen können. Also dass sie das können ist ein Teil der DSGVO, war vorher gar nicht unbedingt möglich und da kann man auf jeden Fall sagen, wenn wir jetzt gerade auf None of your Business gucken, die machen da konsequente Arbeit an diesem einen Gesetz, reichen Beschwerden ein und. Arbeiten daran, dass dieses Gesetz auch umgesetzt wird. Sicherlich auch ein positiver Effekt. Dann finde ich es, gut, ein wichtiger Nebeneffekt mehr IT-Sicherheit. Oha, also das habe ich bisher noch nicht so mitbekommen, aber nein, stimmt natürlich, ne. Aufgrund der strengen Regelungen ist auch die Anzahl der verhängten Bußgelder relativ hoch. Also wenn du einen IT-Sicherheitsvorfall hast und da sind personenbezogene Daten dabei, dann kannst du theoretisch Strafen bekommen. Üblicherweise sehe ich das nicht so häufig. Also es müsste schon wirklich fahrlässig gewesen sein, die personenbezogene Daten nicht vor unbefugten Zugriffen geschützt haben. Oder durch das Leak kommt raus, dass du mit den Daten ohnehin falsch umgegangen bist. Und das finde ich aber auch sehr schön, das große Versprechen den Überwachungskapitalismus zu bändigen hat die DSGVO jedoch bis heute nicht eingelöst. Und da sagen sie, das liegt an den größten Flops. Hier sind die größten Flops. Erstens ein unerwartetes Problem, die Träger der Aufsichtsbehörden. Dieses 1,2 Milliarden Euro Bußgeld an Meta, das ist glaube ich ein Verfahren, was um die 10 Jahre gedauert hat, bis da irgendwann mal, oder nee kann ja gar nicht sein, 10 Jahre kann ja nicht sein, DSGVO, er ist 5 Jahre alt, also auf jeden Fall viele Jahre gedauert hat, bis es dann endlich mal die Strafe gab. Zweitens, ein unerwünschtes Nadelöhr, das Irland-Problem, denn es ist ja so, dass die meisten Datenschutzkritischen Unternehmen, Facebook, Microsoft, Google, TikTok, haben ihren Standort in Irland. Wegen der niedrigen Steuern, aber auch, weil die irische Datenschutzbehörde eine sehr milde Interpretation der DSGVO hat. Das hat natürlich entsprechende Nachteile. Ein schwerwiegender Konstruktionsfehler. Immer wieder Ärger mit der Einwilligung. Ja, und das ist ja, das muss man auch wirklich sagen. Datenschutz und DSGVO bleiben ein Buhmann und sind einfach zu diskreditieren. Weil es eben immer diese Einwilligungsdinger gibt, da kann man irgendwie so ein Hütchenspiel machen. Sie müssen mal hier was machen wegen Datenschutz. Denkt jeder so, oh fuck, schon wieder, ja komm hier, klick. Super Phishing Ding und so weiter. Diese ganze Einwilligungsgeschichte würde ich sagen funktioniert halt einfach nicht. Also sie funktioniert schon im Einzelfall kaum und sie skaliert halt überhaupt nicht. Und das waren ja diese Diskussionen, informt, consent und so weiter, dass dann immer dir alles mögliche gesagt werden muss und das wo du gerade okay klickst, das musst du auch verstanden haben und das haben die natürlich.

Tim Pritlove
0:55:27
Linus Neumann
0:55:37

Also genau und diese ganzen Dark Patterns und was da sich nicht alles ergibt. Also vor allem trainieren wir Menschen diese Dinger wegzuklicken. Da kannst du natürlich auch alles mögliche nochmal mitmachen. Also das ist sicherlich ähm... Nicht so gelungen. Dann fehlende Standards. Da sieht man natürlich, dass das DSGVO Compliance, also überall wo es komplizierte Zusammenhänge zu klären gibt für so ein Unternehmen, entstehen natürlich dann so Compliance Berater. Die dann irgendwie Datenschutzberater, die dann irgendwie sagen, das musst du so machen, das musst du so machen. Überall sagt dann jeder, ja hier wir sind, wir werben damit, dass wir DSGVO-compliant sind. Wo du sagst so, geil, an welches Gesetz haltet ihr euch denn noch? Wollt ihr noch weitere? Gibt's noch weitere Gesetze, die ihr euch rühmt einzuhalten? Also das hat irgendwie nicht so schön, also nicht so wirklich schön funktioniert. Dann sagen sie, eine große Leerstelle künstlicher Intelligenz und das Verbot automatisierter Entscheidungen. Das kommt natürlich jetzt der Punkt. Ich hatte ja gerade schon gesagt, AI und KI als Regulationsziel kommen. Ingo und Alexander schreiben, als die Datenschutzgrundverordnung Mitte der 2010er Jahre geschmiedet wurde, hatte der Begriff Big Data Konjunktur. Heute werden ähnliche Debatten unter dem Stichwort Künstliche Intelligenz, KI geführt. Damals geht es wie heute um Diskriminierung, Manipulation und den Schutz vor allwissenden Maschinen, die über unsere Lebenschancen entscheiden. Ein wirksamen Schutz gegen die Macht der Algorithmen bietet die GSGVO trotzdem nicht. Schade für uns, aber vielleicht auch gar nicht so schlecht, dass wir dann jetzt nochmal uns das anschauen können. So viel zur Datenschutzgrundverordnung. Also interessanterweise, wie so oft, also was wurde das heiß diskutiert. Da kann man auch nochmal, wie heißt nochmal der Film mit Jan Philipp Albrecht und Ralf Bendrath, Democracy, die Braustätigkeit der Daten. Müssen wir auch nochmal verlinken, der war doch jetzt irgendwie frei geworden, oder?

Tim Pritlove
0:58:04
Linus Neumann
0:58:07
Tim Pritlove
0:58:22
Linus Neumann
0:58:25
Tim Pritlove
0:58:34
Linus Neumann
0:58:47
Tim Pritlove
0:58:54
Linus Neumann
0:58:56
Tim Pritlove
0:59:04
Linus Neumann
0:59:08
Tim Pritlove
1:01:01
Linus Neumann
1:01:05
Tim Pritlove
1:01:09
Linus Neumann
1:01:11
Tim Pritlove
1:01:14
Linus Neumann
1:01:16
Tim Pritlove
1:01:21
Linus Neumann
1:01:36
Tim Pritlove
1:02:06
Linus Neumann
1:02:08
Tim Pritlove
1:02:39
Linus Neumann
1:02:48
Tim Pritlove
1:02:52
Linus Neumann
1:02:57
Tim Pritlove
1:03:00
Linus Neumann
1:03:04
Tim Pritlove
1:03:42
Linus Neumann
1:03:47
Tim Pritlove
1:03:57
Linus Neumann
1:03:59
Tim Pritlove
1:04:17
Linus Neumann
1:04:21
Tim Pritlove
1:05:51

Ja, weiß ich nicht. Also ich mein, Joffrey Hinton wird ja mit den entscheidenden Durchbrüchen im Bereich des Deep Learning verbunden und hat jetzt jahrelang bei Google gearbeitet, nachdem er sozusagen. Nach seinem ersten erfolgreichen Deep Learning Paper und sein Veröffentlichung von Google angestellt wurde und dann ja quasi dort lange Zeit gearbeitet hat und so ein bisschen so jetzt Godfather auf Deep Learning ist, der hat jetzt Google verlassen und schlägt jetzt halt andere Töne an. Weil er eben so das Gefühl hat, dass so ein bisschen Zauberlehrling mäßig, so jetzt hab ich hier was geschaffen und der Besen der Geht jetzt hier von alleine und jetzt habe ich ihn aber nicht mehr unter Kontrolle. Und das ist glaube ich so ein bisschen die Befürchtung, die diese Szene hat, weil sie halt einfach gemerkt haben, dass aus ihrem relativ einfachen Ansatz, der es ja nach wie vor ist, dieses neuronale Netzwerk so zu aktivieren durch tiefe Lernstufen, dass es eben in der Lage ist, sich wirklich sehr gut trainieren zu lassen und dann eben mit diesen Large Language Models, Wo man einfach mal gesagt hat, na was würde denn jetzt mal passieren, wenn wir dann den ganzen Text der Menschheit drauf kippen, können wir da irgendwas bei rausfinden und siehe da, auf einmal können die Dinger problemlos von jeder Sprache in jede Sprache übersetzen, auf einmal sind sie in der Lage das Internet auf eine Art und Weise zusammenzufassen, einfach nur durch so eine Wahrscheinlichkeitsvorhersage, die es ja letzten Endes technisch betrachtet ist, dass da eben sehr sehr sehr sinnvolle Sachen bei rauskommen und wir sind natürlich jetzt schwer beeindruckt davon, Aber das hat auch einfach damit zu tun, dass man sich einfach mal klar machen muss, unsere glorifizierte menschliche Intelligenz, die ist ja so toll jetzt auch nicht.

Linus Neumann
1:07:44
Tim Pritlove
1:07:48

Von dir jetzt oder von den anderen? Nein! Von euren. Naja also klar wir tendieren ja dazu uns total toll zu halten, so war auch in gewisser Hinsicht manche von uns zumindest aber Menschheit als solches, Wir haben natürlich den Tieren so viel voraus, dass wir in der Lage sind, ihnen das Leben sehr schwer zu machen. Und darauf wählen wir uns halt was ein, aber so richtig geil im Verstehen komplexer Materie sind dann die meisten halt nicht. Wir haben so ein paar Wunderkinder und so, die schreiben dann geile Papiere zusammen. Aber im Großen und Ganzen findet das ja auch nur für ein paar Jahre unseres Lebens statt so und danach lässt es dann auch schon wieder stark nach. Worauf ich hinaus will ist, diese künstliche Intelligenz tut etwas, wo sich mal wieder zeigt, dass der Computer das dann besser kann, weil er das einfach beständiger durchführen kann. So war es am Anfang mit Rechnen und dann eben mit vielen anderen Tasks, von denen wir so in den letzten Jahrzehnten profitiert haben und jetzt ist halt auch dieses Durchwälzen von Text und sinnvolles Zusammenfassen von Text ist jetzt auch eine Aufgabe, wo wir herausgefunden haben, wie wir die Computer dahin bringen können, das eben sehr viel besser zu tun, als wir das können, vor allem sehr viel schneller. Und deswegen sind wir jetzt so total beeindruckt und immer wenn Menschen total beeindruckt von irgendwas sind, tendieren wir auch dazu das zu überschätzen und da liegt sicherlich auch eine Gefahr da drin. Diese Einschätzung jetzt hingeht.

Linus Neumann
1:09:35
Tim Pritlove
1:09:44

Doch insofern nicht das Produkt, sondern die Technologie insofern, als dass, wenn man sie anwendet, das dann auf andere Leute Auswirkungen hat. Also ich kann ja jetzt einfach irgendwas schreiben lassen und es wirkt einfach echt. Wenn ich jetzt irgendwie so einen russischen Propagandasender produzieren möchte, dann ist das mit diesen Tools relativ einfach. Ich bin ein Propagandasender, ich möchte gerne die Massen sozusagen hinter eine falsche Information bringen. Generiere mir fünf Artikel, die sozusagen diese Thesen hier unterstreichen. Plopp plopp plopp, weißt du jetzt nicht welche Filter da gerade in ChatGPT vielleicht noch aktiv sind, um das dann irgendwie zu verhindern, dass er dann kommt mit so, mhm ach weißt du so Politik äußere ich mich lieber nicht, kann ja sein, aber wir wissen auch so mit dem richtigen Prompt-Engineering kommt man da schon drum herum, also du kriegst solche Texte halt generiert. Und man sieht es ja jetzt schon, die Werbeindustrie springt drauf an. Es gibt jetzt Unternehmen, die einfach mit dieser Technologie quasi Werbetexte auf den einzelnen Betrachter hin optimieren. Wir hatten das schon im Wahlkampf und bei der Brexit-Abstimmung hier mit Cambridge Analytica. Das war dein Name, ne? Wo ja dann quasi schon diese Facebook Profile benutzt wurden, um dann eben klar zu targeten, du bist sowieso schon so ein Right Winger, dir stellen wir mal dieses Doomsday Szenario bei und du bist aber eigentlich so ein Left Winger, dir zeigen wir mal irgendwas, was sich davon abhält, Hillary Clinton zu wählen. Und diese Methodik, die kann natürlich jetzt noch sehr viel mehr verfeinert werden und ich glaube, das ist so ein bisschen das, wo Sie da die Gefahren drin sehen, weil Sie sehen, diese Werkzeuge werden jetzt sehr schnell in die Hände von sehr vielen Leuten kommen. Und es ist auch absehbar, dass die nächste Generation von Large Language Models, die ja bedeutet schneller, höher, weiter, durch mehr entsteht hier mehr. Also die Unterschiede von GPT 2, 3, 4 sind zwar auch teilweise technischer Natur, aber haben vor allem damit zu tun, dass eben sehr viel mehr an Material reingeballert wurde und mehr Ressourcen zur Verfügung gestellt wurden. Durch noch mehr Bereitstellung dieser Ressourcen und noch mehr Analyse von Tags ist es schon absehbar, dass eben noch sehr viel mehr Finesse in diese Sache reinkommt, wo man heute sich immer wieder so die Schenkel klopft mit so, guck mal hier, was Chet Chibiti wieder für einen Scheiß erzählt. Ja also in der nächsten Version wird das dann schon wieder noch filigraner formuliert sein und dann wird's langsam schwierig das irgendwie noch zu unterscheiden von Wahrheit.

Linus Neumann
1:12:38
Tim Pritlove
1:14:06
Linus Neumann
1:14:08
Tim Pritlove
1:15:33
Linus Neumann
1:15:34
Tim Pritlove
1:15:35
Linus Neumann
1:15:45

Das ist nämlich das, genau, das ist genau die Frage und da wollte ich auch ein bisschen drauf aus, ich habe mit einem Kollegen einen Vortrag gehalten und werde den auch noch ein paar mal halten bei der Heise Security Tour. Über im Prinzip wie diese sogenannte KI die die IT-Sicherheit verändern wird. Und Janis mit dem ich den Vortrag halte, der hat diesen Kram studiert. Also der auch glaub ich promoviert in diesem Bereich. Im Bereich der angewandten Mathematik mit eben Deep Learning. Und schon sehr interessant, wir haben in früheren Sendungen auch darüber gesprochen, wie funktioniert das genau, was wird da überhaupt gemacht, ja? Können wir eigentlich hier in der Sendung auch nochmal besser erklären, als was wir bisher getan haben. Und er hat da tatsächlich, glaube ich, einen relativ informierten Blick drauf, wo auch die Grenzen dieser Systeme sind. Also Unmengen an Potentialen, aber eben auch Grenzen. Und sagt so aktuell würde er eher sagen, das ist so ein Buzzword, jetzt muss alles KI haben, das System komplexer aussehen zu lassen als es ist, ist natürlich im Interesse der Hersteller, dann gibt's einen Bias, wir sehen immer nur die beeindruckenden guten Beispiele auf Twitter und extrapolieren davon, oh wenn es das kann, dann kann es auch das. Und natürlich, es kann sprechen, also muss es intelligent sein. Was uns auf jeden Fall zu einer Art der Überschätzung führen wird. Was aber in diesem Vortrag entscheidend, der entscheidende Perspektive ist, ist Machine Learning ist nur bei bestimmten Problemen überlegen. Nämlich, du hast da, also Machine Learning heißt ja eigentlich, du hast Daten und extrahierst die Regeln, die sich da drin befinden. Also du hast Input, Output und extrahierst Regeln. Mit Algorithmen hast du Input und Regeln und generierst Output und bei Machine Learning generierst du aus Input und Output die Regeln, die du dann auf neues Input anwendest. Und diese Regeln, die das Ding lernt, sind komplett implizit und nicht kontrollierbar. Teilweise auch explizit. Jedenfalls, du brauchst also Daten, die eindeutig sind und die du in großer Menge hast, um das Modell irgendwie lernen zu lassen. Du brauchst eine Komplexität, wo die Zusammenhänge nicht offensichtlich sind und sich nicht mit einfachen Regeln sofort abbilden lassen, weil dann brauchst du eigentlich kein Machine Learning. Das heißt, viele Daten, komplexe Zusammenhänge da drin und irgendeine Form von Evaluierbarkeit. Du musst quasi, um dem Ding was beibringen zu können, vergleichen können, wenn es zwei Wege gibt oder zwei Lösungswege, zwei Modelle, welcher von beiden der bessere ist. Also brauchst du eine loss function, auf die du optimieren kannst. Wenn du diese drei Dinge hast, dann hast du ein Problem, bei dem Machine Learning potenziell überlegen ist. Mit dem Framework nähern wir uns dann eben so unterschiedlichen Bereichen und sagen, werden die jetzt in technischer IT-Sicherheit, werden die jetzt von Machine Learning massiv verbessert oder vielleicht sogar ein Problem gelöst, was wir vorher nicht lösen konnten oder nicht. War ganz interessant die Zusammenarbeit. Hat den Vorteil, es geht nicht um die Gesellschaft, es geht nur um IT-Security, kennen wir uns ein bisschen mit aus. Und natürlich bin ich da und muss sagen, nein, nein, nein, mein Job ist sicher. Ich bin ein guter Hacker, das was ich hier kann, das kann noch niemals dieses Jett-GPT. Es ist ein Feld, wo ich glaube, dass genau diese Art von Untersuchungen und Überlegungen in spezifischen Feldern, ja, also wie wird das jetzt durch Machine Learning revolutioniert werden können oder nicht, das sind die Fragen, die wir uns noch sehr viel mehr stellen müssen und nicht erstmal davon ausgehen, ah geil, es kann sprechen, also wird es alles ersetzen, was sprechen kann. Ich glaube auf jeden Fall wird es die Searchbar ersetzen, so für alles, man wird nicht mehr googeln, man wird einfach die Frage stellen.

Tim Pritlove
1:20:30

Genau, das mach ich jetzt schon. Also ich hab's googeln weitgehend eingestellt, wenn es um das Beantworten von wirklichen Fragestellungen geht. Nur wenn ich halt auf der Suche nach Webseiten bin, dann benutze ich halt die Suchmaschine. Und die Ergebnisse sind ziemlich gut muss ich sagen. Also fast immer führt mich die erste Frage zur Lösung. Das finde ich schon ziemlich bemerkenswert. Muss man natürlich ein bisschen lernen wie man fragt so, aber ich glaube man kriegt da relativ schnell ein Gefühl dafür und das ist alles sehr praktisch. Also ich bin insofern auch sehr angetan von dem ganzen, weil es halt wirklich eine praktische Auswirkung hat. Aber die Granularität, du hast ja gerade gesagt, mit dieser loss function, also was da sozusagen mit drinsteckt, ist die Bewertung von Wahrheit eigentlich in dem was man da macht. Also was ist für mich wirklich relevant, was ist nicht relevant. Trainiere ich jetzt irgendwie Bilder von Blumen und ich will da auf bestimmte Blumen hinaus, dann muss ich ja irgendwo auch die Informationen haben. Welche Blume das ist. Ist das jetzt hier wirklich auch eine Sonnenblume oder denkst du das jetzt nur, indem man das halt in diesen Daten annotiert, hierbei handelt es sich jetzt tatsächlich um das, kann ja dieses Wissen so überhaupt erst erzeugt werden. Allerdings sind halt diese Large Language Models und eben einfach durch dieses hinzufügen von soviel Ressourcen zeigt sich auch, dass das trainieren dieser neuronalen Netzwerke halt wirklich in der Lage ist eine inhärente Struktur in Dingen zu entdecken, wo wir bisher auch noch nicht mal auch nur einen Ansatz haben irgendwas zu finden. Ja, also für so Sachen wie, ich gab ja hier schon früher diese Sachen mit, wir filtern jetzt mal das Rauschen aus dem All und suchen mal nach irgendwie intelligentem Leben und so, wo bis heute nix gefunden wurde, das kann durchaus nochmal einen neuen Ansatz bekommen. Oder du hast irgendwelche alten Binärformate, irgendwelche Dateien aus den 80er Jahren, wo es die Software nicht mehr dafür gibt, dann ist durchaus vorstellbar, dass so ein System in der Lage ist, diese inhärente Struktur einfach aus sich heraus zu erkennen und dir Vorschläge zu machen und dann natürlich die Möglichkeit all diese ganzen Dinge miteinander kombinieren zu können, wie wir das ja heute schon sehen. Fütter Chat.GPT mit einer Idee für ein Theaterstück und am besten auch noch gleich mit einer kompletten Bühnenbildbeschreibung und dann kommt was dabei raus und dann nimmst du diese Bühnenbildbeschreibung, schmeißt sie in deinen Midjourney rein, dann kriegst du halt auch gleich die Optik. So, dann kannst du diese Optik wieder in ein anderes Ding machen, dann kriegst du deine 3D-Modelle da draus und dann kannst du das irgendwie direkt in die CNC-Fräse schmeißen und dann wird das auch gebaut. Sowas werden wir sehen und das ist natürlich eine totale Revolution in der Automatisierung von allem möglichen Scheiß. Also das ist wirklich auch interessant. Ich kenne fast kaum... Jemanden, der in irgendeiner Form jetzt so aktiv mit mit mit Zeug arbeitet also im Sinne von Computer basiert an irgendetwas arbeitet, wo nicht schon irgendwie zumindest drüber nachgedacht wird oder rumprobiert wird, so etwas zum Einsatz zu bringen egal ob es irgendwie Gamer sind, Programmierer auf allen Fronten, Jeder Programmierer hat mal seinen eigenen Code reingeschmissen und gerade was so IT Security betrifft. Einfach mal solche Modelle auf deinen eigenen Code anwenden und fragen, ist hier irgendeine Sicherheitslücke drin? So da kriegst du interessante Antworten. Das gilt natürlich für Verteidiger genauso wie für Angreifer.

Linus Neumann
1:24:11
Tim Pritlove
1:25:41
Linus Neumann
1:25:57
Tim Pritlove
1:25:59
Linus Neumann
1:26:04
Tim Pritlove
1:26:07
Linus Neumann
1:26:10
Tim Pritlove
1:26:11
Linus Neumann
1:26:16
Tim Pritlove
1:26:16
Linus Neumann
1:26:17
Tim Pritlove
1:26:27
Linus Neumann
1:26:37
Tim Pritlove
1:26:45
Linus Neumann
1:26:49
Tim Pritlove
1:26:50
Linus Neumann
1:26:56

Ja.

Tim Pritlove
1:26:56
Linus Neumann
1:26:57

Beim Easterhack stand ich mit meinem Van auf dem Campingplatz in Hamburg und hab dann da gecampt, mit dem Auto geschlafen. Und irgendwann zu Nacht schlafender Zeit mit 6 Uhr oder sowas, Alarm, und ich bin so reingeguckt und dann stand da irgendwie so, ja hier Brand in Hamburg, Giftwolke zieht in die Stadt und so und ich so, ach okay, und dann irgendwie so geguckt, wo ist dieser Brand, irgendwas, ein groß Baum, ich so, ach großer Baum, das ist oben im Norden oder so. Das ist weit weg von da, wo ich ja bin. Insofern weiter schlafen passt schon. Die Wolke, die hat hier nichts zu tun. So, dann weiter geschlafen, paar Stunden später, wache ich auf und denke mir so, ah, okay, machs mal irgendwie so rollhänden runter und sehe erstmal auf der Dachluke liegt irgendwie alles mögliche Zeug, ne, und ich denke mir so, was ist denn jetzt los, hat irgendwie was auf mein Auto geregnet. Ich mach vorne die Windschutzscheibe, den Vorhang auf und seh einfach dieses Feuer. Und ich war ungefähr 800 Meter von dem Feuer weg, dieses Gebiet, was da brannte in Hamburg, das war dieser Großbrand zu Ostern, die haben da über 24 Stunden dran rumgelöscht. Dieses Gebiet, was da brannte, war einfach mal, da stand ich halt, neben. Die ganze Karre voll mit Asche, weil halt aus der Wolke, dann halt die Asche, irgendwann wird die kalt so nach eben offenbar ein paar hundert Metern, dann ist die nicht mehr warm genug oder der Auftrieb von der Wolke. Eine ganze Karre voll mit dem Scheiß, super. Dann hab ich die irgendwie abgespritzt und bin weggefahren. Also Self-Broadcast.

Tim Pritlove
1:29:08
Linus Neumann
1:29:10
Tim Pritlove
1:29:11
Linus Neumann
1:29:18
Tim Pritlove
1:29:29
Linus Neumann
1:29:30
Tim Pritlove
1:29:39
Linus Neumann
1:29:45
Tim Pritlove
1:30:20
Linus Neumann
1:30:22
Tim Pritlove
1:30:24
Linus Neumann
1:30:33
Tim Pritlove
1:30:45
Linus Neumann
1:30:46
Tim Pritlove
1:30:52
Linus Neumann
1:31:09
Tim Pritlove
1:31:29
Linus Neumann
1:31:31
Tim Pritlove
1:31:44
Linus Neumann
1:31:45
Tim Pritlove
1:31:57
Linus Neumann
1:31:59

So, da haben wir nochmal einen Job zu verteilen, wir haben ja gerade schon über Neub gesprochen, als es um die DSGVO ging. None of your business, die NGO von Max Schrems. Und der doch ist, ich habe recht, es ist ein zehnjähriger Fall gewesen mit der 1,2 Milliarden DSGVO Strafe. Von 2013 bis 2023 wurde der diskutiert über Metas Beteiligung an der US-Massenüberwachung. Denn wir haben ja auch zehn Jahre Snowden. Haben wir ja auch. Und das ist eben ein Verfahren zwischen Max Schrems und META vor dem, diesem irischen Datenschutz Ding. Ja, und nach dem FISA 702, das ist Foreign Intelligence Surveillance Act, die irische Datenschutzbehörde hat quasi gesagt, da ist nix, der europäische Datenschutzausschuss hat die Entscheidung der irischen Datenschutzbehörde weitgehend aufgehoben. Und verlangte dann außerdem diese Rekordstrafe, sowie eine Rückübertragung bereits übermittelter Daten in die EU. Also, None of your Business, NEUB, eine NGO, die da, würde ich sagen, sehr, wie soll man das sagen, sehr saubere und nachhaltige Arbeit leistet, darin hier diesen Gesetzen zu Wirkung zu verhelfen. Und die verlangen, äh die verlangen, die, Neup verlangt, die klagen jetzt ein, einen Fullstack-Developer, genau die hätten gerne Unterstützung durch einen ein oder zwei Fullstack-Developer in Ruby on Rails, ja. Kurzvorstellung, wir konzentrieren uns auf strategische, innovative und effiziente Anwendung der Privacy-Laws und damit eben auch Verletz- oder Bestrafung von absichtlichen Privacy-Law-Violations bei den großen Unternehmen. Mehr als 800 Complaints gegen Big Tech wie Google, Amazon, Meta. Und entsprechend auch ein Erfolg. So, die suchen Front- und Backend-Developer für webbasierte Projekte im Legal-Tech-Bereich. Da geht es sowohl um Projekte, die sie schon haben, die also dann gepflegt werden müssen. Und interne Tools, um ihre Cases da zu managen. Natürlich auch automatisierte Detektion von Online-Tracking und Class-Action-Plattforms, also Sammelklagen-Plattformen. Ich denke, man kann sich ungefähr vorstellen, worum es da geht. Natürlich in enger Kooperation mit dem Legal-Team, dass diese Dinge den rechtlichen Rahmen dafür absteckt. Und diese Software soll natürlich auch geteilt werden und gemeinsam entwickelt werden mit dem breiteren Consumer Rights and Non-Profit Environment. Gebeten wird um gutes Verständnis von Ruby und Rails und JavaScript, Allround-Knowledge in IT, Erfahrungen mit Web-Applikationen, Front- und Backend, Teamwork, Kommunikation flüssig in der englischen Sprache. Und ich denke, das könnte durchaus ein interessanter Job sein. Deswegen haben wir den verlinkt Und wünschen euch viel spaß bei Neub.

Tim Pritlove
1:35:57
Linus Neumann
1:36:04
Tim Pritlove
1:37:08
Linus Neumann
1:37:18
Tim Pritlove
1:37:30
Linus Neumann
1:37:34
Tim Pritlove
1:37:42
Linus Neumann
1:37:44
Tim Pritlove
1:37:47
Linus Neumann
1:37:51
Tim Pritlove
1:38:01
Linus Neumann
1:38:09
Tim Pritlove
1:38:13
Linus Neumann
1:38:39
Tim Pritlove
1:38:41
Linus Neumann
1:38:44
Tim Pritlove
1:39:04
Linus Neumann
1:39:22
Tim Pritlove
1:39:22
Linus Neumann
1:39:26
Tim Pritlove
1:39:34
Linus Neumann
1:39:46
Tim Pritlove
1:40:02