Logbuch:Netzpolitik
Einblicke und Ausblicke in das netzpolitische Geschehen
https://logbuch-netzpolitik.de


LNP458 Shedhallenfittinge

Feedback — Wahlcomputer vs. Fox News — Abitur-Fail in NRW — Internet-Wache — Digitale Gewalt — Verschwörhaus — ZPS-Phishing — Termine

Nach unserer Livesendung mussten wir aus privaten Gründen noch mal eine kurze Pause einlegen und legen jetzt wieder los. Wir greifen Euer Feedback auf und diskutieren erneut das heiße Thema AI, kommentieren die Vorgänge rund um Fox News in den USA, beklagen die Unfähigkeit des Staates, einen Dateidownload zu organisieren und besprechen den Gesetzentwurf zur Bekämpfung von "Digitaler Gewalt", der deutlich weitreichendere Massnahmen mitzubringen scheint als der Arbeitstitel nahelegt. Dazu noch Nachrichten von ZPS und Termine.

https://logbuch-netzpolitik.de/lnp458-shedhallenfittinge
Veröffentlicht am: 29. April 2023
Dauer: 1:34:56


Kapitel

  1. Intro 00:00:00.000
  2. Prolog 00:00:29.831
  3. Empfehlungen: Der Spion in unseren Handys 00:05:00.237
  4. Empfehlungen: Tschunkelmusik 00:08:35.894
  5. Verlosung 00:09:48.442
  6. Feedback: Open Assistant 00:13:05.821
  7. Feedback: Kosten von AI 00:14:54.202
  8. Feedback: Das Wesen von AI 00:24:58.469
  9. Wahlcomputer vs. Fox News 00:31:52.761
  10. Abitur-Fail in NRW 00:40:20.274
  11. Internet-Wache 00:46:44.775
  12. Gesetzentwurf zur Bekämpfung "Digitaler Gewalt" 00:51:21.554
  13. Verschwörhaus 01:15:16.073
  14. ZPS-Phishing 01:19:56.753
  15. Termine: Cryptocafé im Open Space 01:25:35.479
  16. Termine: Tübinger Tag der digitalen Freiheit 01:28:17.690
  17. Epilog 01:34:07.245

Transkript

Tim Pritlove
0:00:00
Linus Neumann
0:00:01
Tim Pritlove
0:00:02
Linus Neumann
0:00:05
Tim Pritlove
0:00:27
Linus Neumann
0:00:43
Tim Pritlove
0:00:46
Linus Neumann
0:00:50
Tim Pritlove
0:00:54
Linus Neumann
0:00:58
Tim Pritlove
0:01:10
Linus Neumann
0:01:17
Tim Pritlove
0:01:21
Linus Neumann
0:01:28
Tim Pritlove
0:01:33
Linus Neumann
0:01:47
Tim Pritlove
0:01:51
Linus Neumann
0:02:06
Tim Pritlove
0:02:09
Linus Neumann
0:02:21
Tim Pritlove
0:02:25
Linus Neumann
0:02:37
Tim Pritlove
0:02:41
Linus Neumann
0:02:42
Tim Pritlove
0:02:44
Linus Neumann
0:02:55
Tim Pritlove
0:02:59
Linus Neumann
0:03:09
Tim Pritlove
0:03:13
Linus Neumann
0:03:15
Tim Pritlove
0:03:18
Linus Neumann
0:03:51
Tim Pritlove
0:03:55
Linus Neumann
0:03:57
Tim Pritlove
0:04:03
Linus Neumann
0:04:37
Tim Pritlove
0:04:41
Linus Neumann
0:04:44
Tim Pritlove
0:04:49
Linus Neumann
0:05:00
Tim Pritlove
0:07:03
Linus Neumann
0:07:05
Tim Pritlove
0:07:06
Linus Neumann
0:07:11
Tim Pritlove
0:07:20
Linus Neumann
0:08:06
Tim Pritlove
0:08:07
Linus Neumann
0:08:09
Tim Pritlove
0:08:12
Linus Neumann
0:08:14
Tim Pritlove
0:08:18
Linus Neumann
0:08:28
Tim Pritlove
0:08:46
Linus Neumann
0:08:47
Tim Pritlove
0:08:55
Linus Neumann
0:08:57
Tim Pritlove
0:08:59
Linus Neumann
0:09:04
Tim Pritlove
0:09:32
Linus Neumann
0:09:43
Tim Pritlove
0:09:44
Linus Neumann
0:09:46
Tim Pritlove
0:10:35
Linus Neumann
0:10:41
Tim Pritlove
0:11:06
Linus Neumann
0:11:07
Tim Pritlove
0:11:30
Linus Neumann
0:11:33
Tim Pritlove
0:11:41
Linus Neumann
0:11:47
Tim Pritlove
0:11:52
Linus Neumann
0:11:54
Tim Pritlove
0:12:03
Linus Neumann
0:12:05
Tim Pritlove
0:12:13
Linus Neumann
0:12:18
Tim Pritlove
0:12:53
Linus Neumann
0:12:56
Tim Pritlove
0:12:57
Linus Neumann
0:13:01
Tim Pritlove
0:13:07
Linus Neumann
0:13:12

Hat Kommentiert Hallo zusammen in eurer letzten Sendung habt ihr darüber spekuliert, dass es irgendwann freie Alternativen zu ChatGPT geben wird Ich glaube ihr nannt es WikipediaGPT Es gibt einige Projekte in diese Richtung, das am weitesten fortgeschritten und ideologisch kompatibelste für mich ist OpenAssistant unter open-assistant.io. Das Projekt macht drei Dinge. Sie trainieren eigene, freie Sprachmodelle und bieten eine erste Version eines eigenen Chatassistenten auf Ihrer Webseite an, der auf Englisch schon ganz passable Antworten gibt. Sie sammeln freie Datensätze aus den verschiedensten Quellen und bauen Skripte zur Aufbereitung der verschiedenen Daten, um damit einen Sprachassistenten trainieren zu können. Wenn jemand auf Dialogdaten aus alten AI-Programmen oder der Sozialforschung herumsitzt, Spenden sind immer willkommen. Drittens, sie bauen einen eigenen freien mehrsprachigen Dialogdatensatz auf, mit dem man Modelle trainieren kann. Da verbieten sie eine Web-Oberfläche, in der du Dialoge schreiben und klassifizieren kannst. Auch hier sind Helfende immer gern gesehen. Der deutsche Datensatz könnte noch mehr Input und vielfältigere Themen vertragen. Das Projekt ist noch ganz am Anfang, es gibt viele offene Fragen, aber das ist ja bei allen AI-Themen im Moment so. Das also mal zu sehen. Also hier gibt's dann Open Assistant Conversational AI for Everyone. We believe we can create a revolution. Dann gab's noch einen Kommentar von Sebastian, den ich recht spannend fand, Weil ich ja gesagt habe, dass es besonders teuer wäre, solche Modelle zu trainieren und ich habe dabei den Begriff Milliarden verwendet. Und dann sagt Sebastian, hallo Linus, zum Thema Trainingskosten für Chet, GPT3 und Co. Es kostet nicht Milliarden, sondern bald nicht mal mehr 100.000. Von daher kann sich bald jede Unistadt, jeder größere Verein oder Firma das Training einer eigenen KI leisten. Daher ist wohl eher davon auszugehen, dass Google sein Suchmonopol verlieren wird. Er zitiert, according to the ARC Invest Big Ideas 2023 report, training costs of a large language model similar to GPT-3 level performance have plummeted from 4.6, million in 2020 to 450.000 in 2022, a decline of 70 percent per year. Irre, hätte ich nicht gedacht, dass dieser preisliche Verfall so rapide wäre. Allerdings glaube ich, hier ist dann wahrscheinlich nur die Computing-Wärme mit drin und die Aufbereitung der Daten ist ja sicherlich auch ein nicht zu vernachlässigender Teil davon, der ja hier im ersten Kommentar von Stefan auch noch mehr gewürdigt wird. Ist aber tatsächlich auf jeden Fall in ganz anderen Größenordnungen, als ich dachte, ich glaube es ist aber trotzdem nicht davon auszugehen, dass hier demnächst jeder mal eben sagt, ich mach mal eben eine AI fertig, AI Knopf an einer Tastatur oder so, das wird nicht passieren, weil wir einfach nicht die ordentlichen Daten dafür haben werden, also Trainingsdatensätze werden dann das Problem sein. Deswegen auch die beiden Kommentare hier, Stefan und Sebastian.

Tim Pritlove
0:17:00
Linus Neumann
0:17:48
Tim Pritlove
0:18:56

Ja also ich glaube einfach, dass es generell etwas schwierig ist solche Zahlen überhaupt zu generieren, weil du letzten Endes, du brauchst auf jeden Fall auch erst mal Kompetenz und ich glaube, dass die Personalkosten in diesem ganzen Zusammenhang jetzt auch nicht ganz unwichtig sind. Derzeit kannst du ja, kannst du jetzt bei Chachibity, kannst du halt für 20 Dollar im Monat, kannst du sagen so hier, gib mal. Und das neueste Modell, das Vierer, was wirklich viel besser ist als das Vorläufer Modell, Da gibt es ein Rate Limiting. Du kannst halt gerade mal 25 Anfragen stellen innerhalb von drei Stunden. Das wird natürlich demnächst dann auch wegfallen, aber das hat eben sehr viel damit zu tun, dass der Abfrageaufwand noch sehr viel größer ist. Das heißt in dem Moment wo so ein System auch wirklich populär wird und wo es auch wirklich Geld erzeugen soll, dann musst du nochmal sehr viel mehr Ressourcen für die Abfrage dieses Modells bereitstellen, weil das eben auch eine krasse Tätigkeit ist. Das ist nicht mal runtergerechnet und dann kann so jeder PC das mal so eben machen, sondern da gehört eben auch nochmal eine ganze Menge dazu. Ich bin so ein bisschen skeptisch bei diesen Zahlen, klar Milchmädchenrechnung ist so ein bisschen dieses wird schon alles irgendwie billiger werden, klar aber die Frage ist welcher Aspekt das erzeugen des Modells oder eben das abfragen dieses Modells, wie schnell geht das. Was wir sicherlich sehen werden auf dieser Strecke ist so ein bisschen auch so AI as a Service also dass du dann sozusagen deine Sub-AIs quasi auf dem Hauptsystem verankerst, spezialisierte Abfragesysteme quasi nochmal sozusagen als Oberschicht machst. Man kann ja auch derzeit, man kann ja auch zum Beispiel schlechten AIs Beine machen durch die besseren AIs, also Siri zum Beispiel taugt ja gar nix, aber du kannst halt Chat-GPT fragen wie man Siri richtig fragt damit es auch ordentliche Antworten gibt, so ne Sachen. Und derzeit haben wir es ja auch mit sehr viel Meta-Entwicklungen zu tun, so Auto-GPT etc. Also derzeit ist so dieses AI on top of AI on top of AI auch nochmal so ein Ding und derzeit. Strecken alle ihre Fühler aus, was jetzt irgendwie geht und alles wird mit allem kombiniert werden. Also ich glaube die Kosten an sich werden explodieren, aber es wird auch eine sehr große Nachfrage geben, weil im Gegensatz zu diesem ganzen Krypto Quatsch ist halt hier auch wirklich Value drin. Man weiß bloß noch nicht ganz genau wo, aber der ist auf jeden Fall drin.

Linus Neumann
0:22:34
Tim Pritlove
0:24:58

Da können wir ja eigentlich auf den nächsten Kommentar gehen und die Diskussion dann fortführen, der so ein bisschen das Wesen von AI auch versucht zu kommentieren, das ist ein etwas längerer Kommentar, tatsächlich sind es drei Kommentare, also ist dann eine längere Konversation mit unserer AI geworden. Von Patient Parrot, was ich schon mal ein ganz gutes Synonym für diesen ganzen Kram finde, also so ein geduldiger Papagei, das ist ja eine schöne Bezeichnung für das was man da gerade so sieht. Ich greife mal ein paar Zitate raus, also. Diese Systeme wurden so lange verändert, bis sie zuverlässig Bilder erschaffen, als wären sie Maler und Texte schreiben, als wären sie Autoren. Letztlich imitieren sie diese Personen, ohne Realwelterfahrung erlebt zu haben. Sie sind keine Menschen, aber üben eine Art Mimikry im biologischen Wortsinn aus. Also Mimikry ist so dieses, diese Methode Dinge aus der Natur für den eigenen Vorteil zu kopieren, also vor allem auch das Aussehen und er führt dann das Beispiel der gemeinen Wespenschwebfliege heran, die eben keine Wespe ist, aber aussieht wie eine. Um sich sozusagen vor anderen Jägern zu schützen, weil sie vielleicht denken könnten, es handelt sich um eine Wespe, mit der man sich besser nicht anlegt. So, er schreibt dann dazu, demzufolge braucht die Wespen-Schwebfliege nicht verstehen, was sie richtig oder falsch macht, sie ist in diesem Selektionskriterium schlicht unwissend. Genauso erstellt Chad GPT das neue, gegebenenfalls etwas bessere Lorem Ipsum. Es liefert das bessere Mimikryzum, später vom menschlichen Experten verfassten Manuskript. Es bleibt dabei, das ChessGPT Lorem Ipsum bleibt dumm, nur die Hülle passt besser. Ja da ist was dran, aber es ist tatsächlich das bessere Lorem Ipsum, also das ist eine sehr gute Anwendung, also wenn man sozusagen für seine Webseite einen Blintext braucht, den kann man sich also mit so etwas hervorragend erzeugen lassen, der kann sogar unterhaltsam sein. Ja vielleicht ist es sogar so gut, dass man danach gar keinen anderen Inhalt mehr braucht. Für so bestimmte Business Webseiten, wo ich das Gefühl habe die sind sowieso write only. Das liest sich eh danach keiner mehr um, es werden halt einfach die Millionen abgerechnet für die Erstellung und dann ist das so im Netz. Du weißt schon damals hieß das ja die Visitenkarte im Netz. Naja, auf jeden Fall, er formuliert hier sozusagen eben diese Methodik Schutz durch Evolution und kommt dann zum Schluss, zunächst mit einer Gedankenbrücke, wenn wir nun in naher Zukunft von Mimikrisensystemen generierte Bilder, Texte als Input benutzen, in der Annahme, dass diese valide Daten enthalten, dann wird das positive verwässert. Unter der Annahme, dass Mimikrisen-Systeme mit Output von Mimikrisen-Systemen trainiert werden, ist ein mögliches Szenario, dass die Qualität stagnieren wird. Das ist natürlich jetzt wirklich ein interessanter Punkt, weil wir können ja davon ausgehen, dass diese ganzen Webseiten, die von Chat.JPT erzeugt wurden, auch von Chat.JPT dann wiederum als Wahrheit gefressen werden und sich sozusagen das eigene Signal dadurch verstärkt und wir quasi in zunehmendem Maße es nicht mehr mit richtigen Informationen zu tun haben, sondern nur noch mit dem Hören sein. Was wir selber aus der AI extrahiert haben. Das ist natürlich jetzt eine extreme Darstellung der Auswirkungen sozusagen, als würde sich jetzt jeglicher Content der Welt nur noch aus solchen Systemen speisen. Aber es ist definitiv, ein interessanter Gedanke und grundsätzlich muss man ja sagen, es stellt sich einfach eben die Frage, was ist eben, was ist eine verlässliche Quelle, was ist sozusagen wirklich das, woraus sich solche Systeme nähren können, die uns dann wirklich zuverlässige Informationen geben und ich habe, Und ähnlich ist es halt hier auch.

Linus Neumann
0:30:38
Tim Pritlove
0:30:50
Linus Neumann
0:30:51
Tim Pritlove
0:30:56
Linus Neumann
0:30:57
Tim Pritlove
0:31:12
Linus Neumann
0:31:18
Tim Pritlove
0:31:57
Linus Neumann
0:32:01
Tim Pritlove
0:32:19
Linus Neumann
0:32:21

Genau, die Wahrheit wird Opfer der Lüge. Und dann haben wir als CCC seit weiß nicht wie vielen Jahren genau davor gewarnt, dass der Einsatz von Wahlcomputern diese Möglichkeit eröffnet. Und der würde ich jetzt unseren Blick mal kurz in die USA lenken, wo ja wirklich in den letzten Wochen was Irres passiert ist. Also was, kurz zusammengefasst, nachdem Donald Trump die Wahl verloren hat, einfach weil ihn nicht genug Leute gewählt haben, brauchten die eine andere Erklärung, weil war ja klar, dass er der meistgewählte Präsident der Vereinigten Staaten ever, ever ist. Und dann was haben die Hunde, die Leute bei Fox News gemacht, sie haben behauptet, die Wahlcomputerhersteller. Unter anderem Dominion, da gab es noch ein anderes Unternehmen, aber jetzt spielt gerade dieser Dominion Case die große Rolle. Die wären es gewesen, die das Wahlergebnis gefälscht haben. Und das ist genau das, was wir gesagt haben. Man darf nicht mit diesen Wahlcomputern an der Vertrauenswürdigkeit der Wahl zweifeln, weil die Behauptung, dass diese Maschinen manipuliert wurden, lässt sich schwer widerlegen Und vor allem nur durch eine Expertenkaste und deswegen ist es für das gemeine Volk nicht nachvollziehbar und eben genauso glaubwürdig, dass die Maschinen manipuliert wurden, wenn man eben die Abhängigkeit von einer Expertenkaste hat, der man vielleicht nicht vertraut. Also, lange Rede, kurzer Sinn, bei Fox News wurde wieder besseren Wissens oder zumindest ohne Belege immer und immer wiederholt, dass diese Wahlcomputerhersteller Dominion die Wahl manipuliert habe. Und dann haben diese Dominion Leute gesagt, so irgendwann reicht's, also echt mal, und haben die irgendwie für anderthalb Milliarden oder so verklagt und die haben jetzt eine Einigung, also außergerichtliche Einigung von irgendwie 780 Millionen oder so. 787,5. 87,5 Millionen erzielt um quasi im Prinzip Schadensersatz, ja. In weiterer Folge ist jetzt dieser Tucker Carlson da weg, weil im Rahmen dieses Gerichtsverfahrens eben auch noch rauskam, dass der die ganze Zeit in irgendwelchen Nachrichten an andere Leute auch gesagt hat, gesagt hat, dass er das selber nicht glaubt, was er da sagt und dann noch absoluter Frevel Donald Trump auch noch für einen absoluten Schleimbolzen hält, was auch überraschend ist, wenn man sich überlegt, dass er der absolute Steigbügelhalter der Trump-Okalypse ist, aber interessante Phänomene. Und trotz all dem, ob jetzt Dominion die Wahl manipuliert hat oder nicht, ist wahrscheinlich nicht der Fall. Und wenn dann, cool, Kudos, habt ihr gut gemacht den Spinner loszuwerden und auch noch 780 Millionen dafür zu kassieren, sei ihnen dann auch gegönnt. Aber das Problem ist, das haben wir immer vor gewarnt. Und das ist jetzt hier, also ist diese Warnung von vor vielen Jahren, dass diese... Dass dieses Risiko besteht und das Vertrauen in den demokratischen Prozess so krass erschüttern kann, dass es eine Warnung ist, die ist für ein CCC 20 Jahre alt.

Tim Pritlove
0:36:19
Linus Neumann
0:36:25
Tim Pritlove
0:36:27

Nicht alleine, es erfordert natürlich eine gewisse kriminelle Energie, die ja hier bei Fox News definitiv vorhanden war und diese kriminelle Energie heißt halt im Wesentlichen immer Geld verdienen wollen. Hier ist ja sozusagen auch immer dieser schöne Begriff gefallen, we have to respect our audience. Also das ist so der wiederkehrende Begriff, der dann von den einzelnen Moderatoren, auch schon Hannity und so weiter immer wieder hinter den Kulissen genannt wurde und was sie damit sagen wollen ist, wir müssen die weiter aufhetzen, sonst gehen die woanders hin. Ja genau, also es geht gar nicht so sehr darum, ob. Jetzt irgendwie Trump gewinnt oder so, irgendwie ist es ihnen egal. Die haben zwar generell eine konservative Agenda, aber eben nur weil das eben auch ihr Publikum ist und da kriegen, sie halt ihre Kohle und damit kriegen sie ihre Werbeverträge. Newsmax und also die haben jetzt irgendwie Newsmax hat jetzt irgendwie seit der Entscheidung, dass Tucker Carlson geht jetzt irgendwie schon mal wieder dreimal so viele Zuschauer registriert und so weiter. Andere profitieren davon weil dieses Leute wollen diesen Scheiß hören und wir erzählen ihnen diesen Scheiß, weil sie es hören wollen, weil dann schauen sie uns und dann kriegen wir Geld von Werbeträgern, die einfach ihre botschaft dort aussenden wollen wo leute zuschauen das ist einfach wie bei facebook es geht einfach nur in diese um diese aufmerksamkeitsökonomie und von daher ist das sozusagen nochmal ein anderer faktor aber trotz alledem trägt die wahlcomputerstory nicht unbedingt dazu bei weil es nichts ist wo du sagen kannst es kann nicht sein. Weil es konnte sehr wohl sein. Es konnte sehr wohl sein und diese Expertenkasse kann ja auch gar nichts beweisen, weil es lässt sich ja nicht beweisen. Richtig. Das ist das Grundproblem bei dieser Digitalisierung von Wahlvorgängen, weil du eben die Anforderungen, die man an eine Wahl stellt, mit solchen Systemen nicht sicherstellen kannst. Du kannst einfach nicht sicherstellen, dass die irgendwie offen und frei und geheim ist. Irgendeins dieser Dinge wird immer verletzt werden müssen, wenn du so ein System mit Computern designst, weil sie einfach nicht beobachtbar sind. Es handelt sich hier einfach um Elektronenrechner und ich kann ja aus der Welt der Teilchenphysik gerade frisch berichten, Das mit dieser Beobachtung, das hat dann sehr viel mehr mit Statistik und Stochastik zu tun, als irgendwie mit ganz klaren Wahrheiten.

Linus Neumann
0:40:20
Tim Pritlove
0:40:29
Linus Neumann
0:40:32
Tim Pritlove
0:40:38
Linus Neumann
0:40:42
Tim Pritlove
0:40:49
Linus Neumann
0:40:52

Es ist so dramatisch zum Heulen. Es ist so... Also die konnten halt... Also an ausreichend vielen Schulen in NRW konnte dann die, Schulleitung nicht zum gegebenen Zeitpunkt die Abitur-Klausuren herunterladen, weil, warum genau haben sie nicht erklärt, aber es gibt so unterschiedliches, lese ich da so, also es gab sehr viele Erklärungen, was da jetzt schief gegangen ist, da gab es zum Beispiel diese, also sie haben Testläufe gemacht Und dann war zwischendurch die Erläuterung, aber in der richtigen Klausuren war dann eben ein großes Video und dieses große Video hat dann eben den Server überlastet. Und du kannst dir natürlich vorstellen, dass wenn du sagst, liebe Schulleiterinnen und Schulleiter, an dem und dem Tag um 10 Uhr könnt ihr die Klausuren runterladen, dann machen sie das um 10 Uhr. Und zwar alle. Ja und es ist ja auch diese Aufgabe, also es ist, mir ist überhaupt nicht klar, wie schwer kann das denn sein, ne? Also du könntest ja zum Beispiel sagen, du verschlüsst jetzt die verfluchten Klausuren, lässt die die alle in Ruhe runterladen, sagst denen hier, könnt ihr schon mal die Prüfsumme prüfen, ob ihr die richtige Datei habt, könnt ihr schon mal verteilen und morgen früh um 10 twittern, äh twitter ist jetzt auch nicht so stabil, Schreiben wir in der Zeitung das Passwort zum Entschlüsseln der Datei. Britener Boote rufen wir vom Minaretturm. Ja, aber also irgendeine sichere Methode, die Leute zu erreichen, ja. Und dann, also das ist so ein einfacher Prozess, ja. Und die haben den immer wieder, also die so, kennst du das, wenn so Leute rennen und dann verlieren die ihre Hose und fallen über ihre eigene Hose, ne. Und dann stehen die wieder auf und dann sind aber die Schlüssel zusammengeknotet. So haben die versucht die Abiturprüfung zu verteilen. Dann ist das in der Zeitung, dann geht irgendwie Flüppke und Lilith gehen einmal hin und finden sofort so ein sperrangelweites, ähm ähm ähm, wie heißt das hier, ähm ähm, LDAB Admin oder was das war, Wo sie einmal alle die E-Mail-Adressen von irgendwelchen Lehrern in so einem Testsystem offen im Internet hatten, ja.

Tim Pritlove
0:43:32
Linus Neumann
0:43:34
Tim Pritlove
0:44:49
Linus Neumann
0:44:53
Tim Pritlove
0:45:26
Linus Neumann
0:45:30
Tim Pritlove
0:45:41
Linus Neumann
0:45:45
Tim Pritlove
0:46:18
Linus Neumann
0:46:21

Ne, gab es nicht. Weiß auch nicht, ob das jetzt so zielführend ist oder nicht, aber das Land NRW ist nicht in der Lage, die Dinger digital zur Verfügung zu stellen. Du hättest dir die Beiträge anschauen müssen, Tim, dann irgendwie in den Fernsehen, ne, wie dann die Lehrer sitzen und lachen sich halt Schrott und wissen nicht, ob sie lachen oder weinen sollen, weil sie diese blöden Klausuren nicht kriegen, ne. Aber dafür, das was in NRW, äh, ist jetzt nicht ein NRW-Einzelfall. Also in NRW können nicht ein paar tausend Schulen die Abitur runterladen. In Berlin gab es folgende Pressemitteilung, die ich einfach mal in ihrer Gänze vielleicht kurz vorlesen muss. Weil er die Internetwache der Polizei Berlin innerhalb von drei Tagen mit mehr als 3.000, E-Mails belastete, wurde heute Vormittag die Lichterfelder Anschrift eines 30-Jährigen durchsucht. Intensive Ermittlungen des für Cybercrime zuständigen Dezernat des Landeskriminalamts, intensive Ermittlungen mussten die führen, ja, führten zuvor zur Namhaftmachung des Tatverdächtigen, der teilweise im Abstand von nur wenigen Sekunden Anzeigen erstattete. Darin beschuldigte er mehrere in Berlin lebende Personen, unterschiedliche Straftaten begangen zu haben. Gleichzeitig schaffte er es mehrfach, die Blockierung der von ihm genutzten IP-Adresse zu umgehen, was wiederum die zeitnahe Bearbeitung des regulären Informationseingangs über die Internetwache erschwerte. Eine Abschaltung der Seite konnte rechtzeitig verhindert werden. Auf Grundlage eines Durchsuchungsbeschlusses des Amtsgericht Ziergarten folgte gegen 10.40 Uhr der Zugriff. Nein, die Durchsuchung in der Oosdorfer Straße, bei der mehrere Beweismittel sichergestellt werden konnten. Da der ebenfalls anwesende Tatverdächtige von Beginn an Widerstand leistete, legten ihm die Einsatzkräfte Handfesseln an. Verletzt wurde niemand. Die weiteren Ermittlungen im Rahmen derer auch die Auswertung der sichergestellten Beweismittel erfolgt, werden weiterhin von dem Cybercrime-Fachkommissariat des Landeskriminalamts der Polizei Berlin geführt. Da ist ihnen ja mal ein richtig dicker Fisch ins Netz gegangen. Da haben die jetzt richtig einen hochgenommen. Jetzt überlege ich mal bitte, also innerhalb von drei Tagen mehr als 3000 E-Mails. Das sind 1000 pro Tag, das sind 42 pro Stunde, das heißt im Schnitt weniger als eine Minute. So, wie kannst du mit einer E-Mail pro Minute, weniger als eine E-Mail pro Minute, ein System überlasten? Also wie, was ist das denn schon wieder für ein Offenbarungseid?

Tim Pritlove
0:49:21
Linus Neumann
0:49:26
Tim Pritlove
0:49:28
Linus Neumann
0:49:33
Tim Pritlove
0:49:40
Linus Neumann
0:49:46
Tim Pritlove
0:51:12
Linus Neumann
0:51:18
Tim Pritlove
0:51:27
Linus Neumann
0:51:30
Tim Pritlove
0:51:31
Linus Neumann
0:51:42
Tim Pritlove
0:51:44
Linus Neumann
0:52:51
Tim Pritlove
0:52:57

Ich hab einfach alles aufgeschrieben was mir so passiert ist. Eine Anzeige für jeden der mich mal beleidigt hat. Kann schon sein ne? Und das ist natürlich eine Sache, wo man ja auch sagen muss, das passiert. Also Leute werden belästigt, Leute werden teilweise auch richtig verfolgt von einzelnen Leuten oder auch von Gruppen von Leuten und es gab halt online eben so Sperren und das ist natürlich ein Widerspruch, darüber können wir auch gleich nochmal reden. Was steht da jetzt also drin? Zunächst einmal sollen sozusagen Betroffene, also Leute, die sich quasi über andere Leute dann zu Recht beschweren, über einen Anwalt können sie schon auf Landgerichtsebene entsprechende Beschlüsse bewirken, wenn das denn Recht gegeben wird, zur Feststellung der Identität von Personen. Und ähm... Das klingt soweit auch erstmal alles einleuchtend. Jetzt gibt es so zwei Problemvektoren bei der ganzen Geschichte. Das eine betrifft die Tatsache, dass es sich jetzt hier nicht nur um ein Gesetz handelt, was so Online-Diensteanbieter betrifft, also sowas wie Facebook oder so Foren etc. Sondern dass hier auch explizit Messenger im Visier sind und andererseits geht es auch nicht nur um Straftaten. Es geht jetzt nicht nur um solche schwerwiegenden Dinge wie Bedrohungen oder Beleidigungen, sondern der Entwurf öffnet also auch die Tür für Unternehmen, sich lästige Kunden vom Hals zu halten, Indem sie eben zum Beispiel das Recht am eingerichteten und ausgeübten Gewerbebetrieb zitieren und hier die Möglichkeit bieten, also das Recht gibt es tatsächlich, also es bezieht sich auf den Schutz der wirtschaftlichen Interessen eines Unternehmens, umfasst Reputation, Kundenbeziehungen und Geschäftspraktiken und dient dazu Unternehmen vor unberechtigten Eingriffen in ihre Geschäftstätigkeit zu schützen. Also durch unlauteren Wettbewerb, unlautere Geschäftspraktiken oder Verleumdung und da kommt dann sozusagen das scharfe Schwert des Online Kommentars dazu. Wenn man also jetzt sagt das Restaurant ist aber mal echt scheiße und die sind hier alle doof und Nazis, So, dann gäbe es eben mit diesem Gesetzesentwurf auch die Perspektive, dass ein Unternehmen sagen kann, ja hör mal hier, der verletzt mein Recht am eingerichteten und ausgeübten Gewerbebetrieb, dem will ich jetzt hier auch mal den Account sperren lassen oder seiner namhaft werden, um dann entsprechende Klagen folgen zu lassen. Das ist natürlich schon mal ein Problem, weil man sich natürlich Fragen stellen muss wie, Reicht jetzt sozusagen ein einzelner Kommentar da aus, was ist dann quasi die Eingriffsschwelle, also muss ich dann auch erst 3000 negative Kommentare sagen und hier die Internetwache, die kann ja gar nix. Oder reicht jetzt hier irgendwie schon ein Einzelner aus?

Linus Neumann
0:56:26
Tim Pritlove
0:56:54
Linus Neumann
0:56:55
Tim Pritlove
0:57:59
Linus Neumann
0:58:02
Tim Pritlove
0:58:58

Es ist auf jeden Fall ein schweres Feld. Vielleicht nochmal, es geht hier nicht nur um Accountsperrung, sondern es wird auch genauso noch in dem Entwurf erwähnt, dass zunächst einmal andere Mittel wie Inhaltemoderation zum Einsatz kommen soll. Und es ist ja auch so eine Sache, wenn du jetzt wirklich eine konzertierte Aktion hast, im Sinne von vielleicht sogar auch automatisiert, wo diese ganzen Accounts dann auch. Generierte Bots sind oder irgendwie so Accounts von so einzelnen Leuten die dann irgendwie sich dafür vielleicht auch noch bezahlen lassen, dass sie sowas machen, dann wird es natürlich ein bisschen schwierig derer allerhabhaft zu werden, also ich sag nicht unmöglich aber es ist zumindest so ein Problem und andererseits haben natürlich dann auch Accountsperrungen auch den Vorteil, dass du unter Umständen auch Abhilfe schaffen kannst, ohne irgendwie eine Identität festzustellen. Jetzt ist mal der Account weg. Aber oft können natürlich solche Accounts auch wieder hergestellt werden. Und es ist natürlich jetzt unterschiedlich, ob du es jetzt mit so einer Armee von Namenlosen zu tun hast, ohne ein passendes, noch nicht von der AI generierten Foto, die eh keine Follower haben, sondern nur einfach aktive Komponenten in diesem Onlinespiel sind. Oder ob es halt jetzt wirklich eine Person ist, die auch viel Einfluss hat, was ja auch ein Problem ist. Also wenn jetzt irgendjemand halbwegs populäres zumindest in seinen Kreisen mit viel Followern auf dich einschlägt, dann kann natürlich sowas schon ziehen. Sagen wir mal jetzt hier irgend so ein Youtuber kommt sich so ein bisschen gedisst vor, weil er eigentlich irgendwie so eine etwas schwer erträgliche Persönlichkeit hat und das zeigt dann jemand mal auf so und dann wird dann so die Followerschaft aktiviert. Solchen Leuten ist natürlich dann mit einer Accountsperre schon gut zu drohen, weil das ist natürlich dann auch so ein bisschen ihr Asset. Andererseits in dem Moment, wo das dann eben auch nicht angemessen ist, kannst du dann wiederum auch Leuten schnell mal das Business zerstören, dann vielleicht zu Unrecht, weil Accountentzug dann unter Umständen auch bedeutet Entzug jeglicher Einnahmen. Ja das ist also ein sehr schwieriges Feld. Grundsätzlich kann man vielleicht positiv nochmal anmerken, dass diese ganze Methodik ja eher so diesen Geist dieser Quick Freeze Regelung atmet. Also es geht ja jetzt hier nicht um so ein vollständiges Vorratsdatenspeicherungsmodell mit alles muss die ganze Zeit gespeichert werden und alles muss die ganze Zeit im Zugriff sein, Sondern es geht eben hier nur, wenn ein Vorfall vorliegt, ein Gericht entscheidet, das ist ein brauchbarer, also ein brauchbarer, wenn das ein angemessener Einwand ist und dann wird beschlossen, dass jetzt hier Zugriff auf Identität zulässig ist, dann müssen halt dann die entsprechenden Anbieter das auch realisieren.

Linus Neumann
1:02:07

Also ich muss sagen, dass mit den Accountsperren, ja, also richterlich angeordnet, müsste nicht dauerhaft sein. Mir scheint das mit den Accountsperren nicht das wirkliche Problem an diesem Gesetz zu sein. Diese Stärkung privater Auskunftsverfahren, dass du nämlich unter bestimmten Voraussetzungen Nutzungsdaten herausgegeben bekommst und nicht auf bestimmte Straftaten eingeschränkt. Du hast einen Auskunftsanspruch, wer dahinter ist und der ist gestärkt durch die Möglichkeit einer richterlichen Beweissicherungsanordnung, wie es hier heißt. Das heißt im Prinzip, du kannst sagen, ich bin hier betroffen von digitaler Gewalt und ich will wissen, wer dahinter ist. Zum Beispiel, ich will wissen, welche IP das ist, ja, und dann kann der Richter quasi anordnen oder eine Richterin anordnen, so hier, diese IP-Adresse, wer die jetzt zu dem Zeitpunkt hatte, das soll jetzt erstmal der Provider behalten, weil wir ermitteln jetzt hier gerade wegen digitaler Gewalt. So ein bisschen angebunden an das, du hattest das ja auch gerade schon gesagt, so Quick Freeze, also du lässt dir die, die Plattform musst dir die IP Adresse geben, du musst dann schnell genug dem Provider sagen, wer die IP Adresse zu diesem Zeitpunkt hatte, will ich potenziell später wissen im Rahmen, das wird dich nachher ein Richter vielleicht fragen, das wäre so diese quick freeze Nummer. Aber das, und das wäre jetzt auch, also das von den Verfahren her würde ich sagen schon jeweils das, also immerhin mal das mildeste technisch denkbare Mittel genommen, nämlich nicht eine vollständige Vorurteiltenspeicherung und so weiter, aber dann halt dieses digitale Gewalt ist dann fast alles, ja? Beleidigungen, Verleumdungen, Bedrohungen, Störung meines Gewerbebetriebs und so. Und was sich jetzt hier androht, ist inflationärer Gebrauch dieser Auskunftsrechte. Und dann eben auch noch für Messenger-Dienste, die jetzt auch noch umfasst werden. Also gut, ich vermute da ziehen sie natürlich eher auf Telegram potenziell, ja.

Tim Pritlove
1:04:49

Betreffe aber dann natürlich alle. Wir haben hier so ein generelles Dilemma in dieser ganzen Debatte. Das ist ja auch ein grundsätzliches netzpolitisches Dilemma, was sich schon seit immer abspielt. Du hast immer auf der einen Seite, möchtest du irgendwie Schutz gewähren. Wir haben kein Interesse daran, dass Leute online Opfer von irgendwelchen Horden, Beleidigern, Stalkern, Kriminellen, Scammern, Spammern und so weiter werden. Auf der anderen Seite wünschen wir uns aber auch zu diesem Schutz auch irgendwie eine anonyme Aktivität, einen Schutz von Privatsphäre, Schutz vor übermäßigem Zugriff, der dann eben die vorhin schon genannten negativen Auswirkungen haben kann, auch wenn die vielleicht nicht berechtigt sind und technisch spielt sich das aber alles in derselben Domäne ab. Also der Schutz ist automatisch auch eine Verhinderung des Zugriffs und das muss sich einfach irgendwie nivellieren. Also es kann hier ohne Kompromisse nicht gehen und es ist halt immer eine Debatte auf der beide Seiten zu Kompromissen so recht nicht bereit sind, weil sie einfach Angst haben über den Tisch gezogen zu werden und deswegen hast du halt auf der einen Seite immer die sagen Privatsphäre, Anonymität, Grundrechte, Schutz, Schutz, Schutz, Schutz und auf der anderen Seite die volle Durchleuchtung, Vorratsdaten, Speicherung, Maximalforderung, alles Kriminelle, alles Pederasten, alle gefährlich, alle Terroristen, alle im Bau. Und dazwischen spielt sich irgendwie so richtig keine wirklich disziplinierte, beruhigende Debatte ab, weil sich einfach auch die beiden Seiten, die beiden Extreme einfach überhaupt nicht trauen.

Linus Neumann
1:06:54

Ja und ich muss auch sagen, die ganze, also wenn man sich das jetzt erstmal so durchliest, klingt das ja mal ganz interessant, weil ja, immerhin, was ich gerade schon meinte, es scheint, oder man könnte ja mal benefit of the doubt, es könnte sein, dass sie die mildeste Methode nehmen, Aber unterm Strich, dürfen wir auch nicht vergessen, am Ende wird das inflationär verwendet werden, wie alle Methoden und dann bedeutet es eben doch das Ende der Anonymität im Internet. Da wird's dann hier rucki zucki gehen, das wird nicht lange auf sich warten lassen, bis irgendwann mal einer, was weiß ich, in einem Restaurant eine schlechte Bewertung hinterlässt nach der dritten Lebensmittelvergiftung oder so und dann irgendwie noch fertig gemacht wird, ja? Und dann hast du auch noch diese ganzen, also wenn man jetzt das Hinterlassen einer nicht angemessenen Restaurantbewertung. Und das ist ja hier sogar als Beispiel genannt, das ist ja in den eigenen Anwendungsbeispielen gesagt, zum Beispiel du hast das Restaurant schlecht bewertet, dann zack weiß das Restaurant wer du bist und kann gegen dich vorgehen. Also, wenn du diese Möglichkeit eröffnest, kannst du dir ja vorstellen, wie lange das dauert, bis das wirklich halt massenhaften Gebrauch findet und da bin ich nicht über, also so sehr hier wahrscheinlich jemand sich, das würde ich dann schon dem Marco Buschmann und seiner Entourage hier mal unterstellen, dass sie sich durchaus Mühe gegeben haben, nicht sofort so ein Überwachungsmonster zu schaffen. Aber dass das am Ende trotzdem so wirken wird und trotzdem ein sehr starker Schlag gegen die Anonymität im Internet ist und relativ große negative Effekte haben wird, das denke ich ist ja auch abzusehen.

Tim Pritlove
1:08:57
Linus Neumann
1:09:36
Tim Pritlove
1:09:47
Linus Neumann
1:09:48

So.

Tim Pritlove
1:09:48
Linus Neumann
1:09:50
Tim Pritlove
1:09:51
Linus Neumann
1:09:59
Tim Pritlove
1:11:33
Linus Neumann
1:12:31
Tim Pritlove
1:14:03
Linus Neumann
1:14:09
Tim Pritlove
1:14:45
Linus Neumann
1:14:53

Jetzt müssen wir sagen, das ist hier noch ein Eckpunktepapier, das heißt da vielleicht ist sie schlau genug, sich da jetzt mal auch dieses Feedback wirklich durch den Kopf gehen zu lassen. Vielleicht wird der tatsächliche Gesetzestext dann noch besser. Ja, dann haben wir wieder noch eine schlechte Nachricht. Wir haben ja hier immer wieder über das Verschwörhaus gesprochen in Ulm. Da hat die, gab's ein Hackerspace-Verschwörhaus, da hat die Stadt Ulm diese ehrenamtliche Community, haben sich irgendwie getrennt und da haben die Stadt gesagt, ach übrigens, denn die Marke ist unsere. Und jetzt hat das Landgericht Stuttgart der Klage der Stadt Ulm um die Markenrechte am Begriff Verschwörhaus stattgegeben in allen Punkten. Die Stadt hatte nämlich eben gegen den Verein Verschwörhaus geklagt, die halt irgendwie ehrenamtlich dort tätig waren und ja, und hat halt ihren eigenen Namen, den sie sich selber gegeben haben, weggeklagt. Geil. So und sie dürfen im geschäftlichen Verkehr nicht ohne Zustimmung der Klägerin das Zeichen Verschwörungs verwenden. Insbesondere nicht als Vereinsname führen oder zur Kennzeichnung von Dienstleichen im Bereich der Bildung, Weiterbildung für Social Media Accounts und Websites benutzen. Weil zur Wiederhandlung droht dem Verein ein Ordnungsgeld von bis zu 250.000 Euro. So faszinierend, ey. Da machst du ehrenamtlich so einen Verein, machst was für die scheiß Stadt und dann nehmen sie es dir weg und klagen dir deine eigenen Namensrechte weg. Das ist doch wirklich. Er ist doch wirklich faszinierend.

Tim Pritlove
1:16:43
Linus Neumann
1:16:58
Tim Pritlove
1:17:06
Linus Neumann
1:17:15

Es gibt ein Thread vom OO, OO, Ed-Verschwörhaus, da wäre ich aber jetzt vorsichtig. Das Urteil ist doch nicht rechtskräftig, insofern können sie das glaube ich gerade noch machen, aber in der Urteilsbegründung steht, es könne vor unserer Vereinsgründung 2019 nicht auf einen Rechtsbindungswillen geschlossen werden, um ein Namensrechtsverlangen, Verschwörhaus sei außerdem eine Etablissementbezeichnung für das Gebäude. Am Weinhof 9 in Ulm. Das Gericht erkennt einerseits klar unser Engagement an. Wir hätten mit unserer Arbeit am Weinhof, dem Betrieb von Website und Social-Media-Profilen jedoch keine Namensrechte für unsere Community erworben, sondern es sei hierdurch die Marke für die Stadt begründet worden. Die Stadt kann sich, also das, was sie da gemacht haben, hat der Stadt erst die Markenrechte gegeben, die Stadt kann sich nun zu einer vorläufigen Vollstreckung des noch nicht rechtskräftigen Urteils entschließen, wir müssen dann bereits sehr kurzfristig aufhören, uns Verschwörungs zu nennen, das beinhaltet diesen Accounts, unsere Website, unsere Gemeinde Zinggifau und viel mehr. Wie genau es rechtlich weitergeht, wissen wir aktuell noch nicht. Wir werden das Urteil gemeinsam mit unserer Anwältin diese Woche in Ruhe analysieren und dann entscheiden, ob und wie wir rechtlich weiter vorgehen werden. Das Urteil hat für uns eine problematische Signalwirkung. Digitales Ehrenamt konzentriert sich zunächst oft auf inhaltlich wechselnde Projekte anstatt auf die Etablierung rechtlicher Strukturen, wie zum Beispiel einen e.V. oder einen Schutz von Markenrechten. Im Urteil ist die Rede von fehlendem Rechtsbindungswillen, wobei die Besonderheit des Ulmer-Projekts Stadtlabor doch gerade darin bestand, dass die Stadt einen Raum für Civic-Tech-Engagement stellte, ohne dass dieses sich bereits explizit als e.V. organisiert haben musste. Wie sollen Communities wie die unsere nun agieren, wenn sie nicht Gefahr laufen wollen, einem Machtgefälle zu unterliegen, durch das Verwaltungen ehrenamtlicher Arbeit einseitig für sich reklamieren können? Wie können sie sicherstellen, dass ihnen nicht die Identität genommen wird? Egal wie es mit unserem Namen weitergeht, sicher ist jetzt schon, wir setzen unsere inhaltliche Arbeit fort und werden wie gehabt positiv in die Zukunft arbeiten. Hoffentlich können wir sehr bald auch wieder mit einem bunten Angebot neue Türen eröffnen. Das ist ja das andere Ding, dass die ganze Zeit jetzt mit diesem Mist beschäftigt sind. Also es ist wirklich, sehr, sehr, sehr, einfach peinlich für die Stadt, ja.

Tim Pritlove
1:19:44
Linus Neumann
1:19:47
Tim Pritlove
1:19:50
Linus Neumann
1:19:57
Tim Pritlove
1:20:32
Linus Neumann
1:20:34
Tim Pritlove
1:20:48
Linus Neumann
1:21:01
Tim Pritlove
1:21:03
Linus Neumann
1:21:07
Tim Pritlove
1:21:09
Linus Neumann
1:21:14
Tim Pritlove
1:21:18
Linus Neumann
1:21:24

Ja, da wird die AfD sich freuen, dass sie jetzt in zwei Jahren schon wieder einen neuen Bürgermeister wählen dürfen. Also Berlin. Gibt es jetzt eine Anklage der Berliner Staatsanwaltschaft gegen das Zentrum für politische Schönheit wegen Fälschung beweiserheblicher Daten? Nach Paragraph 269 StGB und das ist der Paragraph, der die elektronische Form der Urkundenfälschung betrifft und beispielsweise bei Phishing-Straftaten zum Tragen kommt. Also Phishing, gerade gibt es ganz viel DHL Phishing, schickt dir jemand ein E-Mail, ist ein DHL Logo drin, dann suchst du eine DHL Seite, gibt es da irgendwas ein, das heißt hier werden der Beweis, erhebliche Daten gefälscht, hier wird eine Webseite gefälscht, du wirst in einen falschen Kontext gerissen, das ist Phishing. Und das ZPS habe also Phishing betrieben und außerdem Amtsanmaßung, weil sie nämlich den Eindruck hoheitlichen Handelns erweckt haben. So, jetzt denkst du dir, was habt ihr denn gemacht, Leute? Was habt ihr denn getan? Ja, die haben eine frei abrufbare Internetseite www.unserewaffen.de veröffentlicht. Und da haben sie eine vermeintlich vom Bundesamt für den militärischen Abstehendienst herrührende Ausdoppung einer Belohnung von jeweils 1000 Euro für Hinweise ausgewiesen. Da ging es nämlich darum, dass bei der Bundeswehr massenhaft Waffen wegkommen. Das ZPS hat gesagt, wer uns einen Hinweis gibt, wo die sind, dass wir die wiederkriegen. Wo sind unsere Waffen? Jetzt Meldungen machen. Kann man hier in der Wayback-Maschine anschauen, weil hier oben das Logo des militärischen Abschirmdienstes ist, also das Ritterkreuz oder das Eiserne Kreuz, aber das ist auch die Bundeswehr und die anderen Nazis haben das auch irgendwie. Deine Waffe, deine Verantwortung, wo sind unsere Waffen? Suchen sie mit. Dann haben sie die Waffen abgebildet und haben gesagt, 225 Gramm C4 sind weg. 48.000 Schuss Munition, Heckler & Koch G3, 11 Stück von weg und ich sag mal.

Tim Pritlove
1:23:48
Linus Neumann
1:23:51
Tim Pritlove
1:23:53
Linus Neumann
1:23:58
Tim Pritlove
1:24:23
Linus Neumann
1:24:27
Tim Pritlove
1:25:08
Linus Neumann
1:25:25
Tim Pritlove
1:25:28
Linus Neumann
1:25:37
Tim Pritlove
1:25:39
Linus Neumann
1:25:42
Tim Pritlove
1:25:45
Linus Neumann
1:25:47
Tim Pritlove
1:25:48
Linus Neumann
1:25:50
Tim Pritlove
1:25:59
Linus Neumann
1:26:03
Tim Pritlove
1:26:05
Linus Neumann
1:26:18
Tim Pritlove
1:26:26
Linus Neumann
1:26:30
Tim Pritlove
1:26:43
Linus Neumann
1:26:45
Tim Pritlove
1:26:46
Linus Neumann
1:26:53
Tim Pritlove
1:27:13
Linus Neumann
1:27:16

Ne?

Tim Pritlove
1:27:16
Linus Neumann
1:27:19
Tim Pritlove
1:28:22
Linus Neumann
1:28:28
Tim Pritlove
1:28:30
Linus Neumann
1:28:35
Tim Pritlove
1:28:37
Linus Neumann
1:28:39
Tim Pritlove
1:28:55
Linus Neumann
1:29:06
Tim Pritlove
1:29:44
Linus Neumann
1:29:48
Tim Pritlove
1:29:50
Linus Neumann
1:29:56

Ja.

Tim Pritlove
1:29:58
Linus Neumann
1:30:00
Tim Pritlove
1:30:02
Linus Neumann
1:30:03
Tim Pritlove
1:30:06
Linus Neumann
1:30:08
Tim Pritlove
1:30:12
Linus Neumann
1:30:41
Tim Pritlove
1:30:45
Linus Neumann
1:30:46
Tim Pritlove
1:30:48
Linus Neumann
1:31:05
Tim Pritlove
1:31:06
Linus Neumann
1:31:07
Tim Pritlove
1:31:18
Linus Neumann
1:31:24
Tim Pritlove
1:31:28
Linus Neumann
1:31:32
Tim Pritlove
1:32:05
Linus Neumann
1:32:07
Tim Pritlove
1:32:17
Linus Neumann
1:32:18
Tim Pritlove
1:32:32
Linus Neumann
1:32:49
Tim Pritlove
1:32:50
Linus Neumann
1:33:01
Tim Pritlove
1:33:05
Linus Neumann
1:33:10
Tim Pritlove
1:33:15
Linus Neumann
1:33:19
Tim Pritlove
1:33:30
Linus Neumann
1:33:40
Tim Pritlove
1:33:45
Linus Neumann
1:33:46
Tim Pritlove
1:33:50
Linus Neumann
1:33:52
Tim Pritlove
1:34:01
Linus Neumann
1:34:09
Tim Pritlove
1:34:13
Linus Neumann
1:34:34
Tim Pritlove
1:34:40
Linus Neumann
1:34:52
Tim Pritlove
1:34:53