Logbuch:Netzpolitik
Einblicke und Ausblicke in das netzpolitische Geschehen
https://logbuch-netzpolitik.de


LNP429 Endlich sind wir am Anfang angekommen

Elon Musk und Twitter — Chatkontrolle — Entwurf der EU-Kommissions zum Digital Services Act

Wie angekündigt begrüßen wir erneut Patrick Breyer in unserer Runde und diskutieren viel über Plattformen und ihre Regulierung: den angekündigten Kauf von Twitter durch Elon Musk, die drohende Chatkontrolle durch die EU und den Entwurf der EU-Kommission zum Digital Services Act. Die Sendung ist leider wieder sehr arm an guten Nachrichten.

https://logbuch-netzpolitik.de/lnp429-endlich-sind-wir-am-anfang-angekommen
Veröffentlicht am: 6. Mai 2022
Dauer: 1:31:09


Kapitel

  1. Intro 00:00:00.000
  2. Prolog 00:00:30.859
  3. Elon Musk will Twitter kaufen 00:02:10.507
  4. Chatkontrolle 00:24:49.062
  5. Digital Services Act im Trilog 00:43:58.661
  6. Persönliche Bilanz 01:22:27.679
  7. Epilog 01:28:17.869

Transkript

Tim Pritlove
0:00:00
Linus Neumann
0:00:00
Tim Pritlove
0:00:03
Linus Neumann
0:00:07
Tim Pritlove
0:00:30
Linus Neumann
0:00:51
Tim Pritlove
0:01:09
Patrick Breyer
0:01:21
Tim Pritlove
0:01:24
Patrick Breyer
0:01:33
Tim Pritlove
0:01:35
Linus Neumann
0:01:38
Tim Pritlove
0:01:42
Patrick Breyer
0:01:49
Linus Neumann
0:01:53
Patrick Breyer
0:02:00
Tim Pritlove
0:02:02
Linus Neumann
0:02:02
Tim Pritlove
0:02:05
Linus Neumann
0:02:46
Tim Pritlove
0:02:49
Linus Neumann
0:02:53
Tim Pritlove
0:02:55
Linus Neumann
0:04:05
Tim Pritlove
0:05:04
Linus Neumann
0:05:07
Tim Pritlove
0:05:11
Linus Neumann
0:05:15
Tim Pritlove
0:06:38
Linus Neumann
0:06:43
Tim Pritlove
0:06:48
Linus Neumann
0:06:50
Tim Pritlove
0:06:59
Linus Neumann
0:07:39
Tim Pritlove
0:07:48
Linus Neumann
0:07:51
Patrick Breyer
0:07:53
Linus Neumann
0:09:19
Tim Pritlove
0:10:05
Linus Neumann
0:10:05
Patrick Breyer
0:11:12
Linus Neumann
0:12:10
Patrick Breyer
0:12:40
Tim Pritlove
0:12:55
Linus Neumann
0:13:06
Tim Pritlove
0:13:37

Der erinnert seine Meinung da auch äh am laufenden Meter. Ich habe immer so das Gefühl der ist so ein bisschen ähm äh wie soll ich sagen, er ist so etwas äh Promis, was was so seine Gedankengänge betrifft, ja. Also er schleudert sozusagen seine aktuellen Überlegungen permanent in die Öffentlichkeit, weiß nicht, ob das irgendwie so krankhaft ist oder ob das Methode hat oder irgendwas dazwischen, ähm aber das sagt er ja auch selber, ja? Das kann man jetzt gut finden oder nicht gut finden, ich würde sagen generell ist es etwas problematischer. Ich persönlich tendiere eher dazu. Erstmal, was zu Ende zu denken und nicht dann dazu zu äußern so das kann ja aber auch manchmal lange dauern. Ähm er ist eigentlich immer so ein bisschen ich habe immer das Gefühl so seine Ideen sind immer so permanent so so Beta-Versionen und der testet die dann so in der Öffentlichkeit auch. Für eine Reaktion ist und ist ja auch durchaus in der Lage, dann auch von irgendeiner geäußerten Meinung einfach wieder diametral äh sich abzuwenden und und irgendwie eine ganz andere Richtung zu marschieren und zu sagen, ja, lieber Scheiße, äh machen wir anders. Eine gewisse Qualität drin, ich will das jetzt nicht zu sehr loben und so weiter. Ich bin skeptisch bei ihm, weil ich ihn ähm. In einem problematischen, politischen äh Umfeld vor Orte, was ich bisher. Ihm nicht so persönlich direkt zugeschrieben habe, aber er ist halt, irgendwie der alte Kumpel von äh Peter Thiel und seine Äußerung auch, wo er sich selber grade so verortet und die Linken, die sind ja alle zu vogue und der wäre ja eher so rechts von der Mitte und was was also was. Da setzt bei mir dann auch ein bisschen aus, was er uns damit vermitteln will, ja, ob das sozusagen so eine Einladung ist an die Rechten irgendwie jetzt dann doch wieder einen Schaden dazuzukommen? Ähm I don't know also es wird auf jeden Fall spannend sein das äh zu zu beobachten und ich hoffe es wird nicht eine totale Katastrophe werden.

Linus Neumann
0:15:32

Ich glaube, Ich glaube nach wie vor, dass wir's am Ende nicht kaufen wird, weil wie du schon sagst, der Typ ist sprunghaft. Der hat großen Gefallen daran, was einzelne äh Äußerungen von ihm für Effekte auslösen in, ja? Ich meine, der twittert einmal und irgend so ein Scherzcoin ist halt auf einmal Milliarden wert, ja ähm also die Gesamtsumme der Coins ähm. Ich meine der ist zu sprunghaft und würde, würde er. Und in seinem tatsächlichen Handeln, ja, in den Organisationen, die unter ihm stehen, so was wie Tessa oder SpaceX Wahrscheinlich jeden Tag rein, labert irgendeinen Scheiß und die sagen, ja ja, Chef und äh sagen, machen wir und warten einfach, dass der nächsten Tag mit einem neuen Scheiß reinkommt und gar nicht mehr weiß, was sie was sie am Vortag nicht gemacht haben Und es könnte sein, dass dass er sich denkt, ach geil, Twitter sieht ein bisschen simpel aus, das da kriege ich einen Laden hin, der ist so klein, da kenne ich ihn und die müssen auch machen, was ich sage. Bei Testtag er ja wahrscheinlich gar nicht mehr irgendwie. Micromanage mäßig wirken. Und vielleicht bildet der sich das so ein, aber wenn du mit einem sozialen Netzwerk, was ja für die Menschen so für viele, Zeit ihres Lebens, eine Heimat bieten soll, eine Austauschmöglichkeit bieten soll. Wenn wenn das auf einmal geleitet wird von so einem sprunghaften Typen auf auf Asset, ähm dann geht das halt rucki zucki den Bach runter. Und wenn er nicht irgendwie, unglaublich geniale Leute im Hinterkopf hat, die ihm die sagen, wir wissen, wir haben vor drei Jahren geklärt, wie man aus Twitter mit mit einer AI aufm Raspberry Pie irgendwie ein funktionierendes soziales Netzwerk macht, dann. Ich mir nur vorstellen, dass irgendjemand den sagen wird, pass auf, lass es lieber sein, die Kohle siehst du nie wieder, weil es muss ja auch die anderen Leute investieren müssen ja irgendwie in seine Führungsqualität äh an seine Führungsqualität kommen. Deswegen denke ich. Der hat massiv Twitter geshortet. Und wenn er dann, wenn dieser Deal platzt und die Aktie nach unten abbraucht, dann macht er ein paar Milliarden Gewinn und eine Milliarde gibt er als Strafe, bei der äh bei der oder wo er die dann auch immer abgeben muss. Mit denen hat er eh, keinen guten kein guten Stand und fertig ist die Laube. Aber ich also ich wünsche es auch ihm nicht, dass er sich dieses Ding an an an Fuß knotet.

Tim Pritlove
0:17:55
Patrick Breyer
0:17:58
Linus Neumann
0:18:36

Gemessen, an dem wirtschaftlichen Erfolg, den er hat, ist sein Verhalten einfach äh also es ist dem nicht angemessen, ja? Und das äh, Also erstens den Erfolg, den er hat, den muss er irgendwo auch äh hergehabt haben und auch dem dem internationalen Einfluss, den er hat, dass es äh nicht nicht gesund, ja, wie der sich. Wie der sich verhält. Entsprechend gab's ja auch eine ganze Menge Leute, die ähm von dem Umstand. Allein schon schockiert sind, dass der hingehen kann und sagt, ich kaufe den Laden jetzt äh und sich dann gesagt haben, wir bewegen uns jetzt ins Fettivers. In dem Logbuchnetzpolitik Chatkanal auf Slack den Timer jemand vor einiger Zeit angelegt hat, musste ich fleißig, Invites rausgeben zu Chaos dot Social und die Deutsche flüchtet jetzt schon allein in der in der. Erwartungen ins Fettivers. Was ich auf eine Weise ganz äh interessant finde, dass mich das jetzt erstmal zunächst relativ. Kaltgelassen hat, ob das jetzt äh Maske oder sonst wer kauft, also wenn er sein Geld da verbrennen möchte, wunderbar. Ähm gleichzeitig. Ich meine, Twitter war jetzt auch nicht vorher unbedingt in besseren Händen, ne? Also du willst eigentlich auch nicht im Social Network sein, was Jack Dorsey kontrolliert, ne? Musst ja auch noch mal gucken, wie der Typ inzwischen aussieht. Das, was das Ding für die einen dass das Ding aus seinem Leben gemacht hat, der sieht jetzt auch nicht mehr besonders glücklich aus Aber es hat viele Leute äh wieder in die Richtung der dezentralen Netze bewegt. Auch jetzt erstmal interessant.

Patrick Breyer
0:20:11
Linus Neumann
0:20:14
Patrick Breyer
0:20:23
Linus Neumann
0:21:08
Tim Pritlove
0:21:49
Linus Neumann
0:21:50
Patrick Breyer
0:21:51
Linus Neumann
0:21:53
Tim Pritlove
0:22:37
Linus Neumann
0:22:38
Tim Pritlove
0:22:40
Linus Neumann
0:22:50
Tim Pritlove
0:22:52
Linus Neumann
0:22:53
Tim Pritlove
0:23:01
Patrick Breyer
0:24:04
Linus Neumann
0:24:42
Patrick Breyer
0:25:13

Ja das Datum nächster Mittwoch sollte man sich echt äh schwarz im Kalender markieren, auch wenn's der elfte und noch nicht äh Freitag der 13 ist, äh denn ähm, hier soll eine Nachfolgeverordnung, vorgestellt werden, die die Chatkontrolle, das heißt die Durchsuchung aller persönlichen Nachrichten aller äh Fotos, die über Messenger, die per E-Mail oder auch in Chatdiensten äh verschickt werden, Also äh die das die Massenüberwachung letzten Endes privater elektronischer digitaler Post. Verpflichtend machen soll. Die erste Verordnung hat das den Anbietern erlaubt, davon Gebrauch machen ähm Google. Oder Meta äh Microsoft, also große US-Anbieter. Aber jetzt sollen eben künftig auch ähm europäische Anbieter wie E-Mail-Anbieter X ähm Frema. Alle äh Messengerdienste, E-Mail-Dienste und so weiter, ähm Chatdienste, müssen massenhaft überwachen auf der Suche nach äh Kinderpornografie, das ist natürlich ein schöner, Kinder besser dadurch schützen zu wollen, obwohl es keinen Nachweis dafür gibt, dass das äh ähm gelingen kann Die Fehlerquoten massiv sind bis zu, 86 Prozent Fehlerquote allein bei dem Verfahren, wo also nach bekannten Inhalten gesucht wird, geschweige denn von dem Einsatz künstlicher Intelligenz, die nach noch unbekannten ähm Missbrauchsdarstellung suchen soll und wahrscheinlich eine extrem viel höhere Fehlerquote hat, Das heißt, man kann sich nicht mehr drauf verlassen, dass private Nachrichten, ähm Fotos privat bleiben, in den Händen von Moderatoren, wo sie nicht sicher sind oder werden sogar teilweise vollautomatisiert angezeigt und landen dann direkt äh, BKA. Und was auch dazu kommt, um diese Ende zu Ende verschlüsselten Messenger Dienste, zu dieser ähm Massenüberwachung verpflichten zu können. Müssen sie letzten Endes das sogenannte Kleinzeit-Scanning einsetzen. Das heißt, eine Hintertür in die Clinds einbauen, sodass im Grunde genommen jedes Smartphone äh zur Wanze wird und abgleichen muss. Ähm äh bevor die Verschlüsselung einsetzt. Im Grunde genommen ist das Vertrauen in das digitale Briefgeheimnis damit dahin, denn ich muss jederzeit, damit rechnen, dass ähm meine Nachricht, die bewusst sicher Ende zu Ende verschlüsselt sein soll, die niemanden anderen etwas angeht, vielleicht ein intimes Foto auch verschicke an meinen Partner. Ich muss damit rechnen, dass das, ohne mich zu fragen, ausgeleitet wird und irgendwo anders auf dem Schreibtisch landet und das ist eine Katastrophe für alle, die auf sichere, Kommunikation angewiesen sind, manche ja in manchen Ländern, auch wenn wir an Dissidenten denken. Oppositionelle an Menschenrechtsanwälte ähm ist deren Leben bedroht, wenn äh nicht mehr ähm. Auf sichere Verschlüsselung vertraut werden kann, Die anderen Staaten stehen Schlange. Die wollen genau diese Hintertür nutzen, um nach ganz anderen Inhalten natürlich suchen zu lassen. Bisher sagen die Anbieter, das machen wir nicht. Wir bauen keine Türen ein. Aber wenn die EU das jetzt durchdrückt und durchsetzt, dann ist die der Tür da und wie will man dann sagen, okay für die EU machen wir's, aber für Russland, äh für China, für Erdogan machen wir's nicht, Also das ist ein massiver Angriff auf unsere digitale Privatsphäre und das Ende des digitalen Briefgeheimnisses, wenn das durchkommt.

Tim Pritlove
0:29:06
Patrick Breyer
0:29:08
Linus Neumann
0:29:51
Patrick Breyer
0:30:15

Nee, nee, es ist so, dass die ähm Betriebssystemanbieter werden nicht verpflichtet von der Verordnung, sondern die Anbieter von Messenger Diensten. Und zwar nicht nur die, die in der EU selber sitzen, sondern auch diejenigen, von außerhalb ihre Dienste in der EU anbieten. Jetzt kann's natürlich sein, dass ein Anbieter wie äh äh Telegram das einfach ignoriert und nicht umsetzt. Es wird natürlich auch so sein, dass die Leute, wirklich äh äh Missbrauch begehen und hier über irgendwelche ähm Kinderpornoringe, solches Material austauschen. Die nutzen natürlich sowieso ihre eigenen, Darknet Server und werden so was nicht umsetzen. Im Übrigen haben wir rausgefunden im Fall, dass die im Endeffekt Links teilen, zu verschlüsselten Archiven, Da läuft natürlich jede Chatkontrolle leer, weil da werden keine Bilder verschickt, da werden eben Links äh mit Passwörtern äh verschickt, Also gegen die wird das nicht funktionieren. Aber alle, die einen Messengerdienst nutzen, werden gescannt werden. Das heißt die müssen in ihre Clims, diese Funktion einbauen, zumindest nach bekanntem Material zu sichten, Was noch unklar ist, ist dann äh ob es auch eine Verpflichtung zum Einsatz von künstlicher Intelligenz zur Suche. Nach ähm unbekannten Darstellungen oder auch zur Suche nach ähm Kontakt äh Anbahnungen geben wird. Ja das sogenannte Grooming, Es wird diskutiert, ich weiß nicht, was dabei rausgekommen ist. Dass man auch KI einsetzen muss, um rauszufinden, ob Erwachsene irgendwie mit mit Kindern versuchen, äh sexuellen Kontakt aufzunehmen. Das kann natürlich nie, nur einigermaßen zuverlässig funktionieren wird. Eine riesige Fehlerquote haben wir zu falschen Verdächtigungen und Strafverfahren führen. Ähm da müssen wir gucken, was dann wirklich im Text drinsteht.

Tim Pritlove
0:32:11
Patrick Breyer
0:32:18

Es ist richtig, man muss allerdings wissen, die EU-Kommission muss einstimmig entscheiden. Das heißt, ähm nächsten Mittwoch, die letzte Chance, dass wenn ein EU-Kommissar, ein EU-Kommissarinnen sagt, nein, das das machen wir nicht mit. Das ist der Präzedenzfall für für Massenüberwachung, dann ist das Ding vom Tisch, Deswegen hat Edri diese Woche auch noch mal aufgerufen, also die Bürgerrechtsorganisation Edri zu einem Twitter storm, Also wirklich dagegen zu protestieren, dass das äh kommen soll. Denn wenn das erstmal beschlossen ist vor der EU-Kommission, müsste ja im EU-Parlament eine Mehrheit des gesamten Parlaments dagegen sein. Da bin ich extrem skeptisch, dass das gelingt. Ich habe jetzt zum Beispiel gehört, dass für die, dass erstens Berichterstatter des Parlaments jemand von den Konservativen wird, von der EVP. Und dass zweitens äh von den liberalen federführend sein wird ähm. Eine Dame, die ähm ja Vorsitzende äh einer äh sogenannten Kinderschutzgruppe im europäischen äh Parlament ist, einer Intergroup, Fortils Rights. Frau Wortmanns sich massiv für Chatcontrolle schon ausgesprochen hat, ja. Also extrem eher unwahrscheinlich, dass es sehr unwahrscheinlich, dass es da eine Mehrheit dagegen im Parlament geben wird. Außer wenn wirklich ein massiver Aufstand und und äh Protest ähm kommt vielleicht und im EU-Rat bei den Mitgliedsstaaten natürlich die, die finden das auch toll, ne? Also, Ähm wenn das erst irgendwann in zehn Jahren von den Gerichten gestoppt wird, ist der Schaden ja schon längst entstanden.

Linus Neumann
0:33:51
Patrick Breyer
0:33:59
Tim Pritlove
0:35:14
Patrick Breyer
0:36:02
Linus Neumann
0:37:29

Ich denke, es gibt hier ein ganz also ein ganz anderes fundamentales Problem, das äh auch unabhängig von 86 oder 60 Prozent ist. Mhm und das ist. Es treibt die Menschen einfach nur auf andere äh Geräte, andere Plattformen, andere Systeme, ja? Diese Regelung. Also wenn man jetzt selbst wenn man davon ausgeht, dass man sagt, okay, der äh der Tausch von, solchen Materialen ist ein Problem, das wir lösen wollen und das wäre eine geeignete Methode, ja? Selbst wenn man davon ausgeht und sagt, das wird, Wir machen das, weil es korrekt, effektiv und sonst was ist, dann wird man ja trotzdem sein Ziel nicht erreichen, den, Tausch dieser Materialien einzudämmen. Aus dem einfachen Grund, dass diejenigen, die das tun, sich Geräte suchen oder Plattformen suchen. Bei denen ist diese Scans nicht gibt. Ende der Geschichte. Ja, das haben wir bei den. Stoppschildern im Internet, die sich Frau von der Leyen ausgedacht hat, das haben wir bei ähm Angriffen auf Ende zu Ende Verschlüsselung. Am Ende haben wir, auch bei, was weiß ich, irgendwelchen Hintertüren, die in in in anderen Systemen sind. Diejenigen, die einen eine Motivation haben, sich dem zu entziehen. Die werden sich dem entziehen und diejenigen, die einfach nur ganz normale Bürgerinnen und Bürger sind. Die einen Messenger benutzen möchten oder ganz normale Journalistinnen und Journalisten sind, die äh einfachen Quellenschutz äh in Anspruch nehmen möchten für ihre Kommunikation technischer Art. Die sind dann die Gelackmeierten Ja das sind das ist doch das Problem an solchen Systemen, egal wie gut oder schlecht die sind, selbst die geringste Fehlerquote wenn sie auf alle Menschen dieses äh der dieser Republik oder dieser Europäischen Union ausweitet in absoluten Zahlen riesig, Und ähm. Da wird einfach so gut wie keine äh kriminelle Person unter den Betroffenen sein, äh weil die einfach vorher wissen, dass sie für ihre Machenschaften sich etwas anderes ähm aussuchen müssen ja und vielleicht sogar so das Beste, was du mit so einem System hinkriegst, ist, dass du vielleicht die dümmsten, die dir zur Verfügung stehen. Das vielleicht echt noch nicht mitbekommen haben, bis es dann auf ihrem Gerät ist und dann hast du vielleicht ein paar Verhaftungen, die groß in der Zeitung stehen und dann hat's auch wirklich die letzte gehört und dann ist dieses ist dieses dieses Messer stumpf. Ja? Und dann hast du deine wenigen Erfolge gefeiert, sag super. Danach, entdeckst du niemanden mehr und dann kommt irgendwann die glauben sie wahrscheinlich drei Jahre, sie hätten jetzt den den Handel oder den Tausch mit ähm Kindesmissbrauchsdarstellungen, eingedämmt, bis sie auf einmal feststellt, ach Mensch, stellt sich raus, die sind einfach alle nur irgendwo anders hingegangen und niemand ist ein Gefallen getan worden. Also. Das ist das, was mich ehrlich gesagt an dieser ähm an dieser an diesem Ansatz überhaupt schon so nervt und der viel über viel mehr sehe ich eigentlich kaum noch anders zu diskutieren, damit schon halb irgendwie den Zugesteht, dass das überhaupt eine geeignete Maßnahme wäre, um das wirkliche Problem zu lösen und das scheint mir nicht der Fall zu sein.

Patrick Breyer
0:41:12

Ja, also dass dieser Ansatz absolut unwegsam ist und diesen Austausch eben nicht eindämmen kann, siehst du ja schon an den Netzwerken, die ihn einsetzen, wie zum Beispiel äh Facebook, wo Jahr zu Jahr mit diesen Filtern, mehr Material rausgefischt wird, ja? Die Zahl der Meldung ist Millionen hoch und wird von Jahr zu Jahr höher, obwohl sie dieses Verfahren einsetzen und massenhaft Leute anzeigen. Also man sieht daran, dass es nicht wirksam ist und was fast noch schlimmer ist, ist, dass es ähm Kindern und Jugendlichen sogar schadet, Ersten dadurch, dass ähm in vielen Fällen auch Jugendliche kriminalisiert werden, 30 bis 40 Prozent der Strafverfahren wegen äh Kinderfotografie im Netz äh richten sich tatsächlich gegen Minderjährige. Oftmals eben weil die gar nicht verstehen auch dass solches material nicht witzig sondern irgendwie ähm strafbar sein kann. Also die machen das nicht aus der Motivation Missbrauch heraus, sondern äh weil sie es nicht verstehen, Zum Zweiten ist es so, dass ähm Jugendliche ja oft auch Bilder von sich selber äh verschicken, ne, Stichwort Sexting. Wenn das rausgefischt wird und äh von irgendwelchen unterbezahlten Moderatoren, verkauft wird, womit die gutes Geld machen können, dann ist das eine Bedrohung der Sicherheit von äh von jungen Menschen, die eigentlich geschützt werden sollen durch das Verfahren und schließlich zuletzt. Diejenigen Kinder, die wirklich missbraucht werden, denen schadet das dadurch, weil letzten Endes unsere Polizei geflutet wird mit Müll. Denn die aussortieren müssen, größtenteils völlig irrelevante Meldungen, wird im BKA eine ganze Abteilung damit äh beschäftigt äh ihr relevantes ähm äh auszusortieren und diese Leute würden eigentlich dringend benötigt werden, um zum Beispiel verdeckt zu ermitteln, um diese Kinderpornoringe hochnehmen zu können, brauchst du äh Leute, die äh da ähm verdeckt einsteigen, eindringen, vielleicht sogar die ganzen Systeme übernehmen, äh um die Täter wirklich zu finden. Und wenn du tatsächlich da ansetzt an der Oberfläche, wo sozusagen am am Ende der der ganzen Kette dann irgendwelches Material offen zirkuliert. Dann gehst du total am Problem des Missbrauchs äh ähm selber vorbei und überlastest die Strafverfolger, die heute schon Monate, wenn nicht Garjahre brauchen, um konkreten Verdachtsfällen nachzugehen, solange das so lange dauert und die so überlastet sind, der Missbrauch weiter. Ist eigentlich ein Skandal, ähm dass so Arbeitskraft in Ermittlungsbehörden letzten Endes verschwendet wird.

Tim Pritlove
0:43:58
Patrick Breyer
0:44:50
Tim Pritlove
0:46:12
Patrick Breyer
0:46:41
Tim Pritlove
0:48:02
Patrick Breyer
0:48:36
Tim Pritlove
0:48:38
Patrick Breyer
0:48:46
Tim Pritlove
0:48:51
Patrick Breyer
0:49:03

Also diese dieses ganze Verhandlungsergebnis haben aus meiner Sicht halt eine totale, Enttäuschung. Ähm wir haben da in den Verhandlungen als Europäisches Parlament uns eigentlich einem Block entgegengesehen aus EU-Kommission. Schon einen sehr industriefreundlichen äh Vorschlag gemacht hatte, Lobbyisten ein- und ausgehen, wo ja der EU-Digitalkommissar, der Herr Pretton, selbst aus der IT-Branche kommt, ja ähm. Und auch EU-Mitgliedsstaaten, also geführt vom französischen Digitalminister. Ähm ja, die sich da, auf die Seite der Industrie geschlagen haben, die auch dann als Regierung natürlich digitale Bürgerrechte verhindern wollten, weil die die Regierung, eingeschränkt hätten und deswegen ähm ist ein besserer Schutz unserer Privatsphäre durch ähm ein Recht auf anonyme Internetnutzung zum Beispiel nicht, gelungen. Äh wir haben nicht durchgesetzt. Ähm im Browser, Ähm wenn man dünner Track wählt, auch wirklich nicht Überwachungswerbung ausgesetzt zu werden. Wir konnten Uploadfilter nicht einschränken, Ähm wir konnten die keine Alternative zu den Konzernalgorithmen durchsetzen, die äh unsere Timelines äh sortieren und oft Müll, nach oben spülen. Grunde genommen äh die die einzigen Erfolge oder was ich wirklich äh positiv sehe an dem Regelwerk, ist erstens das Regeln vereinheitlicht werden, die bisher in Deutschland mit Netz DG, Jugendmedienschutzgesetz und, verschiedenen anderen Ländern Frankreich und so weiter halt auch völlig unterschiedliche und teilweise ähm exzessive Anforderungen gestellt haben. Also da wird es künftig einheitliche Regeln geben. Die sind auch nicht ganz so extrem wie in einzelnen Staaten. Das ist gut. Und positiv ist auch noch was wir verhindern konnten, ne? Zum Beispiel äh Zensur von Suchmaschinen, es wird auch nicht kommen, das Thema Identifizierungspflicht für Uploader auf Erwachsenenplattformen, auf Ponoplattformen, das wäre ein sehr schlechter Präzedenzfall gewesen, hätte allen auch, dem Risiko von Daten-Liks ausgesetzt. Ähm so was konnten wir verhindern. Ähm aber die ähm. Den Schutz der der Bürgerrechte, der nötig gewesen wäre, Schutz der Privatsphäre der Meinungsfreiheit im Netz echte Wahlfreiheit. Ähm das ist absolut ähm verloren gegangen, muss man einfach sagen.

Tim Pritlove
0:51:44
Patrick Breyer
0:51:55

Nehmen wir mal das Thema Schutz der Privatsphäre, ja? Wir haben ja im Netz auf diesen äh Online-Plattformen ein Überwachungskapitalismus. Die Online-Plattform finanzieren sich dadurch und verdienen ihr Geld damit, dass sie uns auf Schritt und Klick, überwachen, aufzeichnen und auch verwerten, wir im Netz machen? Man kann da wunderbar mit hoher Wahrscheinlichkeit Rückschlüsse ziehen auf unser Privatleben, auf unsere äh sexuelle Orientierung auf unsere politische Meinung, wenn wir die nie offen angeben oder äußern, reichen wenige Klicks, um darauf äh rückzuschließen und das wird ähm wird ausgebeutet von den Plattformen. Das Parlament hatte gefordert, ein Recht auf anonyme Internetnutzung ähm dieser Plattform um zu schützen vor Identitätsdiebstahl, Ähm vor Daten-Leaks, wie sie wöchentlich eigentlich äh passieren. Ähm wurde abgelehnt, Parlament wollte ein Recht auf sichere Verschlüsselung. Die EU-Staaten natürlich nicht gewollt, die gerne abhören. Ähm das Parlament wollte ein Verbot von Vorratsdatenspeicherung, um zu verhindern, dass jetzt irgendein EU-Mitgliedsstaat anfängt, auf die Idee zu kommen, auch Vorratsdatenspeicherung, das wollen wir jetzt auch für soziale Netzwerke. Speichert ihr mal, Nutzer ihr habt, identifiziert ihr mal alle Nutzer und speichert ihr Surfverhalten mit ja äh das wurde abgelehnt, Und auch äh schließlich, was wir am Ende versucht haben. Zumindest durchzusetzen, dass äh Donald Track respektiert werden muss. Das heißt, wenn ich in meinen Browser einstelle, ich will nicht getrackt werden, dass ich dann auch diese lästigen Banner. Diese Cookie-Banner nicht mehr angezeigt bekomme, wo man sehr leicht ja sagen kann, aber nur sehr umständlich, wenn überhaupt nein sagen kann und jedes Mal wieder damit belästigt und gefragt, Ähm auch das ähm äh konnten wir nicht durchsetzen. Äh das heißt, ähm diese nervigen Banner, bleiben und ähm auch Dark Patterns, das heißt wo versucht wird durch farbliche Gestaltung, Und durch besonders komplizierte Dialoge, das Nein auch zu solchen Bannern, zu solchen Cookies besonders zu erschweren. Auch zu diesen Darkpatterns ist nur eine windelweiche Formulierung durchgekommen, von der ich mir nicht sicher bin, ob sie wirklich viel ändern wird.

Tim Pritlove
0:54:28
Patrick Breyer
0:54:30
Tim Pritlove
0:55:23
Patrick Breyer
0:55:31
Tim Pritlove
0:55:38
Patrick Breyer
0:55:39
Tim Pritlove
0:56:19
Patrick Breyer
0:56:23

Genau da werden jetzt nur Kinder geschützt und da können die Plattformen ziemlich gut mitleben, weil das äh jetzt eh nicht deren äh Geschäftsfeld ist, beziehungsweise, wie gesagt, die meisten Plattformen auch gar nicht wissen, das Alter äh der der Person und ähm bei bei Minderjährigen, die geben oft auch ein anderes Alter an, bestimmte Plattformen uneingeschränkt nutzen zu können. Deswegen hat das wenig gebracht, ist es gelaufen äh beim Thema ähm besonders sensible Daten, wie zum Beispiel ähm. Ähm Krankheiten einer Person oder ihre politische Meinung, ihre sexuelle Orientierung. Als Parlament wollte eigentlich das zumindest verboten wird, anhand von äh diesen Persönlichkeitsmerkmalen, diesen besonders sensiblen Persönlichkeitsmerkmalen ähm, Personen anzusprechen und die Formulierung wurde so verwässert, dass jetzt im Grunde genommen nur ein Verbot von Profiling draus geworden ist, was eigentlich im Grunde genommen schon jetzt, äh äh verboten ist. Also im Grunde genommen läuft das deswegen leer. Man wird weiterhin ähm. Anhand der Angaben im Profil zum Beispiel, wenn jemand angibt, ähm seine politische Meinung oder auch seine sexuelle Einstellung kann man ihn weiterhin ähm, und äh und ansprechen und das wird halt gerade, vor Wahlen und Abstimmungen massiv zur Manipulation eingesetzt vor der letzten Bundestagswahl hat zum Beispiel Herr Spahn in seinem Wahlkreis völlig unterschiedliche Werbebotschaften verwendet, abhängig davon, wer das betrachtet hat, äh da schon allein die die Hautfarbe und Ethnie der Personen, die da angezeigt wurden, war unterschiedlich je nach Zielgruppe und das ist natürlich extrem, unlautere Mittel, mit denen ja ähm Cambridge Analytiker angegeben hat, dass sie ähm dass sie in der US-Wahl, das Ergebnis massiv beeinflussen konnten mit den das Brexit-Referendum ähm beeinflusst wurde, Das ist echt eine Gefahr für die Demokratie und nicht wenn wir das ist verboten worden.

Linus Neumann
0:58:33
Patrick Breyer
0:59:55

Ich würde das nicht über einen Kamm scheren. Die Idee ist GVO ist schon global das Beste, was wir haben und ein ein Goldstandard, da hapert es vor allem an der. Weil äh da die Iren zuständig sind für die Durchsetzung. Da hat man auch draus gelernt, DSA Werten für die sehr großen Plattformen wie die EU-Kommission zentral zuständig sein und dann kann Irland das nicht mehr aus Standortinteressen heraus blockieren. Beim DMA haben wir äh wie gesagt die Interoporalität erreicht. Das ist, glaube ich, schon was, was den Markt bei den Messengerdiensten aufbricht Ähm und ähm wir haben auch zum Beispiel so was erreicht wie es darf nicht ständig nach Einwilligung gefragt werden, sondern nur einmal pro Jahr maximal, ne. Glaube ich, die Konzerne schon geärgert. Google hat auch schon eine Klage angedroht. Also das äh ist schon ziemlich empfindlich. Dagegen habe ich beim DSA Reaktionen gesehen von der Industrie, So nach dem Motto ja entscheidend ist jetzt die Umsetzung und ähm, ja also eigentlich kaum verhohlene Zufriedenheit mit dem. Erreicht wurde. Man hatte nie protestiert, auch gegen den Gesetzentwurf der EU-Kommission. Und genau das, was du sagst, ist ja das Problem, dass man an das Geschäftsmodell, Konzerne nie ran wollte. Man hätte eigentlich zweierlei machen müssen. Das Erste ist ähm anstelle, Überwachungskapitalismus hätte man mit kontextbasierter Werbung arbeiten müssen, das heißt die Plattformen dürfen nicht mehr, Überwachungswerbung, die wirklich auf die Person, auf die Persönlichkeit zugeschnitten ist, einblenden, sondern nur äh kontextbasiert, so wie das auch in der Zeitung passiert, wie das auch ähm im Fernsehen passiert. Und das Zweite ist, diese Algorithmen, die die äh Ergebnisse sortieren und die Vorschläge sortieren und die eben dafür sorgen, dass die Ergebnisse möglichst oben landen, die Leute am meisten aufregen und deswegen am längsten auf den Plattformen halten, sodass man ihnen möglichst viel Werbung verkaufen und sie möglichst ähm süchtig und abhängig machen kann. Dieser Algorithmen, aufzubrechen, den Nutzern echte Wahlmöglichkeiten zu geben, diese Algorithmen abzuschalten, sie anders zu konfigurieren, auch eigene Algorithmen oder externe Algorithmen stattdessen einzusetzen, auch das, man nicht gemacht, um das Geschäftsmodell im Grunde genommen unverändert äh zu erhalten, und zu schützen. Und das ist das Problem, dass man glaubt, es reicht aus, Trans mit Transparenz zu arbeiten, also die Plattformen müssen halt künftig zum Beispiel Informationen über ihre Algorithmen offenlegen. Sie müssen ähm Forschern, geben zu Daten, die dann damit irgendwie forschen können, welche Risiken von den Algorithmen ausgehen. Man glaubt, es reicht aus, die Plattform sich auditieren lassen müssen, die sehr großen jedes Jahr, müssen sie sich an einem Audit unterziehen. Das Problem ist, die Plattform wählen selbst aus. Wer diesen Audit vornimmt, ja, also es ist, Äh man glaubt, es reicht aus, sogenannte Codes of Contact zu machen, wo die Plattformen sich freiwillig selbst verpflichten. Probleme ähm anzugehen.

Linus Neumann
1:03:17
Patrick Breyer
1:04:05
Linus Neumann
1:05:53
Patrick Breyer
1:05:55
Linus Neumann
1:07:04
Patrick Breyer
1:08:06

Löschanordnungen bleibt es eigentlich im Wesentlichen dabei, dass das weiterhin Sache der EU-Mitgliedsstaaten ist. Das ist ein Problem, denn es liegt jetzt in der Hand, jedes einzelne EU-Mitgliedsstaates, eigentlich zuständig, Inhalte löschen zu lassen. Es gibt keine Beschränkung auf richterliche Anordnungen. Das heißt, jede beliebige Behörde kann die Zuständigkeit erhalten. Das heißt zum Beispiel der Innenminister kann sich selber, die Zuständigkeit geben oder auch in Ungarn könnte Viktor Orbn sagen, okay ich bin jetzt zuständig dafür äh Sachen ausm Netz löschen zu lassen. So und das das zweite Problem ist, Ähm jetzt von dieser fehlten Unabhängigkeit und richterlichen Anordnungen äh abgesehen. Ähm. Diese Löschanordnungen können auch grenzüberschreitend erteilt werden, ja? Das heißt, jetzt im Extremfall ähm Orbn lässt irgendwie ein Aufruf zu Protesten gegen seine Regierung löschen, weil er sagt, In Ungarn ist das illegal, das verstößt gegen irgendwelche ungarischen Gesetze. Ähm dabei ist dieser Aufruf eigentlich ganz woanders veröffentlicht worden. In Deutschland meinetwegen, ob man könnte sogar hergehen und von dem. Hoster, der zum Beispiel die Webseite von einem Nachrichtenportal hostet ähm eine Löschanordnung. Ähm ähm auferlegen und dadurch in die Pressefreiheit eingreifen, Einzigen Rechtsmittel, die da in dem Digital Service Act vorgesehen sind, sind, Man kann gegen ungarische Löschanordnungen, die sich gegen deutsche Anbieter richten, kann man in Ungarn vor Gericht gehen. Ist natürlich lächerlich, weil die ungarischen Gerichte genauso, auch äh die ungarischen Gesetze anwenden werden.

Linus Neumann
1:09:57
Patrick Breyer
1:10:07

Das Problem ist, dass jedes einzelne EU-Mitgliedsland irgendwie problematische Vorschriften hat, was in diesem Land illegal ist, ja. Äh in Spanien ist es illegal meinetwegen für die Unabhängigkeitsbewegung irgendwie äh zu werben In Deutschland ist es irgendwie illegal Religionen äh zu beschimpfen oder zu beleidigen. In Polen ist es illegal ähm für für Abtreibung zu werben oder die die äh zu sagen, Polen hat irgendwie eine Mitschuld an den äh Nationalsozialisten, die Verbrechen In Ungarn ist es irgendwie illegal für Immigration Werbung zu machen. Die legen das sehr extensiv aus. Und das Problem ist, wenn jetzt alles gelöscht werden kann, was in irgendeinem EU-Mitgliedsstaat illegal ist, dann vereinheitlicht man eigentlich die Meinungsfreiheit nach unten, Nur noch das kann im Netz gelesen und geschrieben werden, was überall noch legal ist, was nirgendwo verboten wird. Das ist natürlich ein riesiges Problem. Das müsst ihr eigentlich andersrum sein, dass äh wenn ich etwas legal veröffentliche in Deutschland, weil es mit deutschen Gesetzen im Einklang steht, dass ich das auch äh online ähm schreiben darf und und nachlesen darf, hierzulande legal ist und man rechnet nicht damit, dass jetzt plötzlich Orban ankommt und sagt, aber bei uns nicht. Also das ist ein Riesenproblem, was nicht gelöst wird ähm. Das hat man nicht angefasst, das hat man den Gerichten überlassen, aber die Gerichte haben im Grunde genommen schon das abgesegnet und gesagt, wenn das national vorgesehen ist, grenzüberschreitende Löscheinordnungen könnt ihr machen.

Linus Neumann
1:11:43
Patrick Breyer
1:11:48
Linus Neumann
1:11:50
Patrick Breyer
1:12:20

Warum sich das so vorstellen Ähm vor diesem letzten finalen äh Trilog hatten wir eben eine Tagesordnung und da waren eine Liste von Hauptstreitpunkten äh drauf gestanden. Ähm die hat man eben dann äh durchdiskutiert, die gegenseitigen Positionen. Ähm. Ausgetauscht und ähm nach und nach äh wollte man sich einigen, Grunde genommen schon das problematisch, denn man hat ja für dieses äh Digitalgesetz. Was sicherlich zehn oder 20 Jahre lang wird, hat man sich nur drei Monate Zeit gelassen im Trilog, um äh Kompromisse zu finden und dadurch, dass man eigentlich um jeden Preis abschließen wollte zu äh zu diesem Zeitpunkt, die französische Präsidentschaftswahl vor der Tür stand, weil bestimmte Leute irgendwie keine Lust mehr gehabt haben. Äh dadurch war klar, äh dass man äh viel aufgeben muss, Das bedeutet ähm in den einzelnen Streitpunkten hat man entweder äh komplett, aufgegeben einzelne Anforderungen oder man hat die EU-Kommission dann ein Kompromiss formulieren lassen. Die haben dann während dieser 16 Verhandlungsstunden, irgendwelche Papiere noch verteilt auf den Schreibtisch, die dann einen Kompromiss äh darstellen sollten. Ähm oder man hat selbst noch irgendwas zusammengetextet und äh geschustert und das heißt, am Ende des Trilogs, wo man dann in allen Punkten sich verständigt hatte. Man so eine Art Grundsatzeinigung. Teilweise konkrete Kompromissexte ähm teilweise hatte man eine politische Einigung, wie es aussehen soll, die dann noch von den Experten im Nachgang. Ausformuliert werden musste und das passiert im Moment gerade. Man schaut den Text nochmal nochmal durch, ob er jetzt eigentlich so Sinn macht, ob alle Bezüge zueinander stimmen, welche Lücken noch zu füllen sind, die jetzt nicht von großer politischer Bedeutung sind, kann man dann eben ohne politische Verhandlung auf technischer Ebene noch lösen und erst wenn das alles bereinigt und geklärt ist, dann wird es einen Text geben, der dann voraussichtlich im Juni, auch vom Europäischen Parlament äh noch abgesegnet werden soll. Die sehr großen Onlineplattformen müssen dann schon, nach sechs Monaten nach Entkraft treten das Gesetz umsetzen und ansonsten wird es nach 15 Monaten dann für alle gelten.

Linus Neumann
1:14:51
Patrick Breyer
1:14:55
Linus Neumann
1:15:47
Patrick Breyer
1:15:59

Also rückblickend hätte ich ähm. Viel weniger Arbeit damit gemacht. Ich war ja ähm Berichterstatter für den äh Innenausschuss und ähm habe da auf jeder Stufe, gekämpft für für unsere Grundrechte und digitale Bürgerrechte, und es ist klar und im Prozess eminent, dass man auf jeder Stufe dann zurückstecken und Kompromisse schließen muss, ja. Das war im Ausschuss schon so. Mit allen Fraktionen verständigen musste, dann war das so im federführenden Ausschuss, die auch nur ein Teil von unseren Empfehlungen übernommen haben äh dann ähm bei der Abstimmung letzten Endes im im Plenum und äh dass man dann mit dem Rad nochmal Kompromisse schließen muss, das war auch klar, Aber das alles abgeräumt wird, das eigentlich vom Schutz digitaler Bürgerrechte äh äh nichts Wesentliches mehr äh übrig geblieben ist. Äh das ist absolut enttäuschend. Ich hab's ja so kommentiert, dass ich gesagt habe, die Bezeichnung digitales Grundgesetz verdient das Regelwerk nicht, einfach beim Schutz unserer Grundrechte äh weitgehend versagt und ähm Industrie und Regierungsinteressen haben sich an der Stelle tatsächlich, die Nutzerrechte durchgesetzt, muss man ganz klar sagen. Wenn man das hätte verhindern wollen. Hätte man von Seiten des Parlaments viel härter äh verhandeln müssen. Man hätte bereit sein müssen auch, mehr Zeit sich zu nehmen und zu sagen, okay, dann machen wir keinen Deal unter diesen Voraussetzungen. Sind wir nicht bereit, dass das Ding abzuschließen ähm und wir hätten vielleicht auch ähm mehr öffentlichen Druck, gebraucht, Das lief so ein bisschen auseinander beim DSA, was die Zivilgesellschaft gefordert hat. Das war sehr unterschiedlich aber selbst da, wo sie sich eigentlich weitgehend einig waren, nämlich beim Thema Schutz vor Überwachungswerbung. Selbst da hat im Grunde genommen der Verhandlungsprozess weitgehend versagt und das das ist extrem traurig, das zu beobachten und auch zu sehen, Wie viele dann letzten Endes andere Prioritäten hatten, ja, da war dann irgendwie wichtiger, gibt es Ausnahmen für für kleine und mittlere Unternehmen, so aus Industriesicht, gibt es irgendwie dann 'ne Bestimmung für barrierefreien Zugang zu zu Internetseiten. Und ähm dass solche Themen gegeneinander ausgespielt worden sind ähm das das hat mich schon enttäuscht und das das hat mir schon, Schon weh getan.

Tim Pritlove
1:18:37
Patrick Breyer
1:19:46

Eine ganz schwierige ähm politische Gemengelage im Moment. Ähm wir hatten ja schon gesprochen über die Chatkontrolle, die vielleicht sogar eine Mehrheit im Parlament dafür hat. Noch verhandelt wird im Moment, die ePrivacy Verordnung, also Schutz unserer äh Privatsphäre, bei bei digitalen Diensten und bei elektronischer Kommunikation, Da haben wir im Grunde genommen nochmal eine Chance ähm vieles von dem, was beim DSA verloren wurde, noch durchzusetzen, denn, Da ist zum Beispiel auch Track auf dem Tisch. Ähm da geht es auch um das Thema ähm Vorratsdatenspeicherung. Also es gibt schon noch eine Chance, aber die politische Großwetterlage ist schwierig, die öffentliche Aufmerksamkeit für diese Themen ist sehr, beschränkt und ähm wenn man äh in der Politik was beeinflussen und reisen will im Sinne der der Bürgerinnen und Bürger, Gerade in Brüssel, dann muss der öffentliche Druck enorm sein, ja? Da muss echt ähm viel dahinter stecken, denn ähm wenn das nicht der Fall ist, wenn etwas durchläuft, dann ist eigentlich der politische Prozess so angelegt in Brüssel. Dass ähm die die Lobbyisten sehr großen Einfluss haben und ein ziemlich leichtes Spiel in Brüssel den Entscheidungsprozess zu beeinflussen. Dann haben die Regierung ein sehr starkes ähm. Interesse und sehr starken Einfluss über den EU-Rat ähm, Dort wo es mal gelingt für die Nutzer was durchzusetzen, da steht wirklich eine gute Kampagne und ähm Öffentlichkeitsarbeit dahinter und das versuche ich natürlich auch ähm bei meiner Arbeit zu erreichen, dass wir kontinuierlich informieren und aufmerksam machen, was falsch läuft und auch Ansatzpunkte aufzeigen, wo es Sinn macht ähm sich zu engagieren und und tätig zu werden. Und ähm bei diesem Thema DSA haben wir echt nicht viel erreicht, aber es wäre vielleicht auch hätte deutlich schlimmer ausgesehen, wenn ähm so viele Menschen nicht aktiv gewesen wären, gesagt einiges an Verschlechterung, was sich die Rechteinhaber vorgestellt hatten, zum Beispiel, konnten wir durchaus verhindern, es gibt keine festen Löschfristen was die Meinungsfreiheit äh gefährdet hätte, wenn man ohne sorgfältige Prüfungen dann meinetwegen innerhalb von, Stunden oder sogar kürzer auf jeden Fall entscheiden müsste oder löschen müsste. Das konnten wir verhindern. Also äh äh es hätte auch schlechter laufen können.

Linus Neumann
1:22:27
Patrick Breyer
1:24:19

Wir haben ja. Im Koalitionsvertrag von der Ampel eine klare Absage an die Chat Kontrolle durchgesetzt. Ein riesen Erfolg eigentlich aber ich würde mir wünschen, dass die Bundesregierung jetzt auch lautstark ähm dagegen wettert, dass jetzt äh Frau, Frau Felser dem eine klare Absage erteilt, dass hier Herr Buschmann auf den Zinnen ist. Habe ich bisher jetzt so noch nicht gehört. Also da, muss auch massiver äh Druck jetzt noch kommen, zumal es ganz klar grundrechtswidrig ist, Wir haben in Europa echt das strukturelle Problem. Es gibt keine europäische Öffentlichkeit. EU-Themen haben es von vornherein schwierig in der Presse. Und auch die Zivilgesellschaft ist halt in Europa noch nicht so schlagkräftig vernetzt, dass Sie's auch nur annähernd aufnehmen könnte halt mit der Industrie äh Lobbyisten zum Beispiel, ne? Ähm das äh da da sind wir noch nicht organisiert genug, glaube auch, dass die die Proteste gegen Artikel 13 Artikel 17 daran gescheitert sind, sie sich halt auf einige EU-Länder sehr stark konzentriert haben, aber äh in in Frankreich, in Italien, Spanien das überhaupt kein Thema gewesen ist. Also das ist echt eine große Aufgabe auch auch vor uns, die noch vor uns liegt, da ähm für mehr Einfluss und ähm Mitbestimmung auch zu sorgen und für eine schlagkräftigere Vernetzung auf EU-Ebene. Um da wirklich auch für eine Politik im Interesse der der Menschen und der Nutzer auch äh zu sorgen, die eigentlich kaum eine Rolle spielen und auch äh kaum gehört und gerne ignoriert werden.

Linus Neumann
1:25:57
Tim Pritlove
1:26:00
Patrick Breyer
1:26:05
Linus Neumann
1:27:20
Patrick Breyer
1:27:35
Linus Neumann
1:27:37
Tim Pritlove
1:27:39
Linus Neumann
1:27:42
Tim Pritlove
1:27:45
Linus Neumann
1:28:02
Patrick Breyer
1:28:05
Linus Neumann
1:28:06
Patrick Breyer
1:28:12
Linus Neumann
1:28:15
Tim Pritlove
1:28:18
Linus Neumann
1:28:20
Tim Pritlove
1:28:31
Linus Neumann
1:28:47
Tim Pritlove
1:28:51
Linus Neumann
1:28:52
Tim Pritlove
1:29:17
Linus Neumann
1:29:19
Tim Pritlove
1:29:27
Linus Neumann
1:29:37
Tim Pritlove
1:29:40
Linus Neumann
1:29:43
Tim Pritlove
1:29:45
Linus Neumann
1:29:48
Tim Pritlove
1:29:54
Linus Neumann
1:30:14
Tim Pritlove
1:30:17
Linus Neumann
1:30:35
Tim Pritlove
1:30:41
Linus Neumann
1:30:44
Tim Pritlove
1:30:54
Linus Neumann
1:31:06