Logbuch:Netzpolitik
Einblicke und Ausblicke in das netzpolitische Geschehen
https://logbuch-netzpolitik.de


LNP183 Blinde Kuh mit Baseballschläger

Störerhaftung — Sampling erlaubt — Android Location History — Google gewinnt gegen Oracle — KI lernt Stereotype — Cyber Cyber Cigarette — Fast WLAN in Berlin — Netzneutralitätsdemo

Wir melden uns wieder zurück und blicken auf die umstrittene Neuregelung des Telemediengesetzes in Bezug auf die Störerhaftung. Es bleibt offen, ob das Ziel erreicht wurde aber wir beklatschen ein wenig ein neues Gesetz, das ausnahmsweise ein paar gute Neuerungen mit sich bringt zumindest keine Verschlechterungen schafft. Weiterhin interessieren wir uns für die bemerkenswerte und potentiell wegweisende Entscheidung des Bundesverfassungsgerichts zum Thema Sampling und reden über neue Begehrlichkeiten des FBIs für automatische Datensammlungen auf Android-Telefonen. Wir schütteln ein wenig den Kopf über Pressemitteilungen des BSI und schlagen ihn danach auf den Tisch nachdem wir uns die jüngste Initiative Berlins ein "freies WLAN" zu schaffen genauer anschauen.

https://logbuch-netzpolitik.de/lnp183-blinde-kuh-mit-baseballschlaeger
Veröffentlicht am: 3. Juni 2016
Dauer: 1:37:06


Kapitel

  1. Intro 00:00:00.000
  2. Prolog 00:00:39.845
  3. Störerhaftung wurde vielleicht abgeschafft 00:01:42.294
  4. Sampling erlaubt 00:16:29.002
  5. Android Location History 00:29:35.320
  6. Google gewinnt Urheberrechtsstreit gegen Oracle 00:46:39.583
  7. KI lernt Stereotype 00:52:06.158
  8. Cyber Cyber Cigarette 00:59:01.163
  9. Fast WLAN in Berlin 01:16:39.034
  10. Netzneutralitätsdemo in Wien 01:34:57.310
  11. Epilog 01:36:34.656

Transkript

Linus Neumann
0:00:00
Tim Pritlove
0:00:03
Linus Neumann
0:00:10
Tim Pritlove
0:00:39
Linus Neumann
0:00:55
Tim Pritlove
0:01:03
Linus Neumann
0:01:10
Tim Pritlove
0:01:12
Linus Neumann
0:01:19
Tim Pritlove
0:01:26
Linus Neumann
0:01:29
Tim Pritlove
0:01:31
Linus Neumann
0:01:38
Tim Pritlove
0:01:40
Linus Neumann
0:01:41
Tim Pritlove
0:01:47
Linus Neumann
0:01:59
Tim Pritlove
0:02:07
Linus Neumann
0:02:09
Tim Pritlove
0:04:03
Linus Neumann
0:04:05
Tim Pritlove
0:04:08
Linus Neumann
0:04:15
Tim Pritlove
0:04:48
Linus Neumann
0:04:52
Tim Pritlove
0:05:05
Linus Neumann
0:05:09
Tim Pritlove
0:05:10
Linus Neumann
0:05:13

Und äh jetzt sagt er. Dieser Gesetzesentwurf Anbieter öffentlicher WLAN, Hotspots werden, Access Providern gleichgestellt. Das ist ja die eigentliche Forderung die ja auch die digitale Gesellschaft insbesondere ähm mit dem äh damals äh schon vor Jahren äh vorgeschlagenen Gesetzestext äh auch verlangt, aufgestellt hat, und äh Hertingen sagt, na ja, das passiert ja jetzt, das wird jetzt gesetzlich klargestellt, da es bisher keine BGH-Entscheidung zum gewerblich betriebenen WLAN gibt, Und jetzt sagt er nun. Die zweite Forderung zu sagen, okay, wir wollen auch keine äh wir wollen auch nicht auf Unterlassung verklagbar sein. Ähm, die kann auch gar nicht im im Gesetz stehen, weil so sagt jetzt Nico Herting, kein Gesetzgeber der Welt kann ein Unternehmen davor schützen, dass bei den Unternehmen Abmahnungen eingehen. Und er sagt, ein Großteil der Abmahnung wird unberechtigt sein, ein Gang zum Anwalt hilft. Niko Herting ist Anwalt. Ähm und sagt also ja okay, natürlich kannst du auf Unterlassung verklagt werden oder äh aber das kannst du natürlich eigentlich auch immer, Und er führt dann an, als epirisches Beispiel, es gibt auch keine Unterlassungsurteile seit jeher gegen Access Provider, Äh und denen sind ja jetzt WLAN-Betreiber gleichgestellt. Also äh, Die Access Provider, wie jetzt deutsche Telekom oder so sehen sich seit zweitausendvier dem Risiko von Unterlassungsansprüchen ausgesetzt. Und äh, sagt dann auch selbstverständlich hat die Musikindustrie äh würde die sich ein Urteil wünschen, dass die Telekom zur Unterlassung der Verbreitung von Raubkopien verpflichtet, also, Schönste Urteil wäre eben äh die Telekom hat es zu unterlassen, dass Leute über ihren Internetzugang äh raubkopieren runterladen können, Also mit anderen Worten äh Sperrverpflichtungen für die deutsche Telekom oder eben äh Strafen. Das würden die sich ja wünschen, aber ein solches Urteil gibt es trotz zahlreicher Angriffsversuche der Rechte-Industrie bis zum heutigen Tage nicht stellt. Nico Herting fest. Und Er sagt, die Anforderung des äh Bundesgerichtshof an einen Unterlassungsanspruch sind äußerst hoch, Also ist diese Latte kaum zu überspringen und genau deshalb hat es solche ähm Urteile bisher nicht gegeben. So also die Gegenmeinung. Dass man also sagt, ja es es bleibt die Möglichkeit, dass man Unterlassungs, Ansprüchen ausgesetzt ist. Diese werden aber im Zweifelsfall vor Gericht keinen Bestand haben und deshalb soll möge man sich doch dann eben auch, Auf juristischem Wege äh die gegen äh solche zur Wehr setzen und dann wird alles gut.

Tim Pritlove
0:08:27
Linus Neumann
0:08:37
Tim Pritlove
0:09:03
Linus Neumann
0:09:04
Tim Pritlove
0:09:05
Linus Neumann
0:09:06
Tim Pritlove
0:09:07
Linus Neumann
0:09:09
Tim Pritlove
0:10:21

Ja, das wird jetzt sehr interessant sein, weil im Prinzip, so wie das halt jetzt ist, bedeutet das der Gesetzgeber ist der Meinung, sie könnten das nicht explizit reinschreiben, aus welchen Begründungen auch immer, dann steht halt auch nicht drin, sprich, In dem Moment, wo jemand, der im Prinzip jetzt als privater WLAN-Anbieter gilt, treffe ja zum Beispiel Freifunk oder ähnliche Initiativen oder eben auch jeden, der da sein Zuhause mal sein WLAN-Public macht, oder zumindest ein Gastzugang äh Public macht. Da müsste man sozusagen mal abwarten, ob jetzt nicht doch so etwas, so eine Abmahnung mit äh Unterlassungsforderungen ähm eintrudelt, Und dann muss es erstmal gerichtlich, Geklärt werden und dann wird's halt spannend zu sehen, wie das Ganze läuft, ob das sozusagen von vornherein abgeschmettert wird. Ich habe jetzt den Berichten so ein bisschen auch herausgelesen, dass, BGH, aber eigentlich der Meinung ist, dass sozusagen so das Niederschreiben der Bewegungsmotive in die Begründung des Gesetzes allein das BGA BGH jetzt noch kein äh ausreichende Maßgabe ist und von daher ist es halt einfach Interpretationssache. Es wirkt so ein bisschen hilflos ehrlich gesagt, verstehe ich jetzt die Argumentation auch nicht und was das mit Europa zu tun hat und so. Europa steht ohnehin ja jetzt hier auch nochmal auf der Liste, weil ja nach wie vor, Entscheidung des europäischen Gerichtshofs ansteht, da hatten wir ja schon drüber gesprochen, dass das quasi bisher noch auf dem Stand ist, dass der äh Generalanwalt sich halt geäußert hat und da eine Meinung vertreten hat, und dann wird man halt sehen, inwiefern Gericht ihm dann folgt oder nicht folgt, beziehungsweise wenn es ihm folgt, inwiefern das dann eben auch konkret formuliert begründet wird und was da äh sich daraus dann eben für Vorgaben, für die europäischen oder die EU-Nationen äh ergeben.

Linus Neumann
0:12:23
Tim Pritlove
0:12:37
Linus Neumann
0:12:41

Das ist schon mal gut, weil das, Natürlich, weil das in diesem Ausmaße zu einer allgemeinen Verbreitung von öffentlichen und freien WLAN-Zugängen beitragen wird, und auch zu einer angenehmeren Nutzung, also das ist erstmal gut, es gibt nicht mehr den Grund, das zu tun Das könnte, wenn man das jetzt mutig auslicht, eben zum Beispiel dazu führen, dass so was, weiß ich, wenn du in so einem Hotel bist, eben einfach mal verfluchtes WLAN hast natürlich am Ende nicht, weil die, weil sie dann doch immer noch diese diese äh Hype äh randomisierten äh Nutzer, Kennwort äh Dinger reinwürgen äh um sicherzustellen, dass du auch nur drei Geräte in das Netz bringst und nicht viel, Vielleicht also vielleicht sagen dann halt auch die vielleicht man könnte ihn jetzt zu dem Mut raten das einfach mal sein zu lassen und einfach zu sagen komm hier Hotel mit WLAN, ne? Beim äh Waschbecken muss ich auch nicht äh äh irgendwie ein Passwort eingeben, bei der Toilette auch nicht. Und ich komme ja nun mal dahin, um irgendwie ein bisschen Infrastruktur zu haben. Bett kann ich auch einfach benutzen, wenn ich will. Ähm es ist auch äh die Unterscheidung zwischen privaten und gewerblichen Anbietern gestrichen worden. Also es dieser Begriff gewerblich, auf dem ich da gerade noch rumgeritten bin, spielt eigentlich gar keine Rolle mehr, Und äh es wurde auch gestrichen, dass ursprünglich äh die ursprünglich geplante Verschärfung der Haftung von Hosting Providers äh Providern, dass du also äh quasi ähm. Als Cloudbetreiber äh für die Inhalte haftbar äh gemacht werden kannst, da wurde also auch zugunsten der, Dieser Plattformanbieter, die ja irgendwie Gigabytes und Dateien pro Sekunde bekommen und weg und hin und her, deswegen gesagt wurde, herkommen, da seid ihr jetzt nicht. Da wird jetzt also nicht ähm. In einer Rechtsunsicherheit beim Betrieb von Clouddiensten, Wohnnutzer, Inhalte hoch und runterladen können. Ähm. Aber da hat zu diesem Thema hat die äh große Koalition Koalition gesagt, das würden wir ja schon ganz gerne mal auf EU-Ebene jetzt irgendwie äh angehen und geklärt wissen. Es bleibt eben dieser dieses Risiko mit dem, mit der Abmahn mit der und mit dem Anspruch auf Unterlassung. Ja? Da wird man also jetzt, gibt's jetzt unterschiedliche Einschätzungen unterschiedlicher Juristen, die aber sich alle im Prinzip auf Zukunftsmusik beziehen, da müssen wir also mal schauen bis der erste oder die erste freie WLAN-Anbieterin mit so einem Unterlassungsanschluss Anspruch überzogen wird und sich dann eben gegen, zur Wehr setzen, wenn wir dann Glück haben, kriegen wir ja vielleicht irgend so eine Art Grundsatzurteil und dann hätten wir vielleicht echt mal irgendwann die Störerhaftung vom Tisch.

Tim Pritlove
0:15:39
Linus Neumann
0:15:48
Tim Pritlove
0:15:50
Linus Neumann
0:16:25
Tim Pritlove
0:16:47
Linus Neumann
0:16:49
Tim Pritlove
0:17:35
Linus Neumann
0:17:37
Tim Pritlove
0:18:02
Linus Neumann
0:18:02
Tim Pritlove
0:18:23
Linus Neumann
0:18:25

Ach ja genau, weil sie sind genau. Und da haben sie ein Sample drunter gelegt, was aus dem Kraftwerksong Metall auf Metall stammt Metall auf Metall ist so ein eigentlich so ein rein schlagzeugartiges Ding. Und da haben sie halt das diesen Grund, dieses Grundsample, was man am Anfang hört äh. Ich bin jetzt musikalisch nicht ausreichend gebildet, um zu sagen, ob das zwei oder vier Takte waren, die sie da gelubt haben und die liegen halt unter diesem gesamten Song. Der Song hat als hat diesen Grund. Ein Grundbiet von diesem Kraftwerksong, im Kraftwerkshong ändert sich der Beat natürlich, weil das im ähm das sind halt Musiker, die, damit und in diesem Sabrina Settler, glaube ich, haben sie einfach nur dieses eine Stück genommen, die ganze Zeit wiederholt und dann hat sie da eben ihre Aggressionen drüber abgebaut und äh jetzt hat Kraftwerk gesagt, na ja, das finden wir eigentlich äh uncool, ein Sample aus unserem schönen Song nehmt und noch nicht mal fragt, ob ihr's dürft. Wir hätten uns gewünscht ihr wenigstens mal kurz euch ein okay einholt. Äh wir haben ja gar nicht unbedingt vor euch äh irgendwie mit mit äh ähm monetären Ansprüchen zu überziehen, aber so ohne zu fragen ist einfach nicht die feine Art und deswegen klagen wir gegen euch jetzt vor allem Gerichten und die haben bereits zweimal vor dem Bundesgerichtshof. Recht bekommen, Und jetzt muss man sich fragen, was ist hier jetzt der der ähm was ist jetzt hier der wirklich zugrunde liegende Aspekt? Ähm. Und das betrifft eben das Sampling Ja, also du nimmst irgendwie ein Stück aus irgendeinem anderen Song und machst daraus was Neues. Und ich glaube äh auch Kraftwerk würde nach dem nach wenn sie den Song jemals zu Ende gehört haben äh sagen, dass dieser Song sicherlich jetzt nichts, Nichts mehr mit ihrem ursprünglichen Song zu tun hat, sondern eben schon eine Genoin neue, Kreation ist, die eine Schaffungshöhe überschritten hat, äh zu der dieses Sample, das aus ihrem Song genommen wurde, eben einen kleinen Beitrag, leistet, der aber jetzt auch nicht unbedingt für das für diesen Song maßgeblich ist, Das hätte der Pelhem wahrscheinlich auch noch äh mit ein bisschen Übung gleichmäßig auf die Trommel hauen können, diesen Beat, ja? Und äh. Entsprechend haben sie dann eine Verfassungsbeschwerde, nachdem sie da im X-Urteile X Niederlagen eingefahren haben, eine Verfassungsbeschwerde eingereicht, die eben. Die Frage betrifft, inwieweit sich Musikschaffende bei der Übernahme von Ausschnitten aus fremden Tonträgern ähm gegenüber den Leistungsschutzbericht leistungsschutzrechtlichen Ansprüchen der Tonträgerhersteller, auf eine Kunstfreiheit berufen können. Also ja äh. Kraftwerk oder ihr Vertrieb oder ihr To-Trainer-Hersteller hat einen Leistungsschutzrechtlichen Anspruch an diesem Werk, aber ähm Moses Pellhem, so schwer es fällt und Sabrina Sädluhr, haben, genießen Kunstfreiheit und im Rahmen dieser Kunstfreiheit, also, Könnte das jetzt anlehnen an diese amerikanische Idee des Fair-Use? Ist eben eine gewisse eine gewisse Bedienung äh an an Fremdwerken in kleinen Kreise oder im kleinen Ausmaß durchaus mal zu rechtfertigen, dass man sagt, okay, da kommt eine künstlerische Freiheit, die überschreitet die über ist aber jetzt hier höher zu gewichten als der Anspruch den Kraftwerk an an diesen zwei Sekunden Trommeln hat.

Tim Pritlove
0:22:16
Linus Neumann
0:22:20

Genau, denn das Urteil ist steht dieser künstlerischen äh Entfaltungsfreiheit äh dass ein Eingriff in das Ton äh Trägerherstellerrecht gegenüber dann, aber die Einschränkung des Tonträgerherstellers in seinem Leistungsverwertungsrecht nur geringfügig ist. Dann äh kann man das kann man hier zugunsten der künstlerischen Auseinandersetzung urteilen, sodass diese rechtlichen Ansprüche, Hinter der künstlerischen freien Entfaltung, Moses Pellham und Sabrina Setuhr zurückzutreten haben. So entschied der erste Senat des Bundesverfassungsgerichts und damit haben wir jetzt eigentlich in diesem Urheberrechtskram, doch ich glaube ähm Leonard Dobesch nennt es auch so im Prinzip ein historisches Urteil, das eben hier eine, mehr Rechte zum äh zum äh zum Remixen einräumt, und Remix und Urheberrecht sind ja schon Themen mit den äh Leonard Dobusch sich ich weiß nicht seit wie vielen Jahren sehr im Detail auseinandersetzt, er betreibt auch dieses Remix Museum hälter Vorträge drüber und alle diese Urheberrechts und insbesondere äh Remix Recht auf Remix Sachen, das sind alles immer Dinge. Äh wo der Leonard Dobusch ähm sich engagiert. Und äh er sagt, das ist äh, Schön, weil da mit dem bisher der bislang praktisch bedeutungslosen freien Benutzung nach Paragraph vierundzwanzig Urheberrecht ein neues Leben äh gegeben wurde und er freut sich da. Und das ist glaube ich insgesamt, ja? Also, wahrscheinlich ein sehr schönes Urteil, auch wenn es natürlich ein bisschen ärgerlich ist, dass ausgerechnet Kraftwerk gegen ausgerechnet gegen äh Moses Pelham vom Bundesverfassungsgericht verloren haben. Aber da müssen wir jetzt durch, denn das Urteil ist erstmal, ein gutes für uns und unsere Kultur.

Tim Pritlove
0:24:26
Linus Neumann
0:24:54
Tim Pritlove
0:25:11
Linus Neumann
0:25:15
Tim Pritlove
0:25:16
Linus Neumann
0:25:20
Tim Pritlove
0:25:25
Linus Neumann
0:25:31
Tim Pritlove
0:25:32
Linus Neumann
0:25:55
Tim Pritlove
0:25:59
Linus Neumann
0:26:04
Tim Pritlove
0:26:08
Linus Neumann
0:26:12
Tim Pritlove
0:26:18
Linus Neumann
0:26:20
Tim Pritlove
0:26:29
Linus Neumann
0:27:02
Tim Pritlove
0:27:04
Linus Neumann
0:28:22
Tim Pritlove
0:28:30

Ja gut für Breaks sind sie jetzt auch nicht so unbedingt so bekannt aber sie haben ja und das mag bei ihnen auch so ein bisschen die Triebfeder gewesen sein, Sie haben ja schon epische äh Rhythmen und vor allem auch Melodien, am Start. So, meine Kraftwerkssongs bestechen einfach durch ihre hohe Wiedererkennbarkeit auch einfachster Melodien. Und ich denke mal, das dürfte an der Stelle auch so eine der Triebfedern gewesen sein, sie solche Ausschnitte gar nicht mal so sehr, als, na ja, da hat jemand was von meinem Lied genommen, äh, interpretieren, sondern ich interpretiere das jetzt in Kraftwerk rein, ja, ohne sie äh näher zu kennen, ja, nicht verwandt, nicht verschwegert und äh ich war auch noch nie im Klinklangstudio, sonst eigentlich auch fast keiner. Aber ich glaube, das ist sozusagen, sie sehen das so ein bisschen auch als ihre Ursuppe an. Na ja. Gibt übrigens eine hervorragende Doku, den verlinke ich gleich nochmal dazu über diesen Armenbreak auf äh YouTube, wo diese ganze Story erzählt wird, das sollte man sich auf jeden Fall mal geben. Ja und sonst gehen wir mal weg von äh der Kunst, Ich weiß gar nicht, ob das wirklich eine große Geschichte ist, aber. Es gab einen Bericht bei The Worch über ein Bankräuber, und dieser Bankräuber hat in den USA eine Bank ausgeraubt, und wurde dann später aufgrund von Zeugenaussagen wiedererkannt, dann haben sie irgendwie seine äh Wohnung durchsucht und dort äh passende Waffen gefunden et cetera. Die Lage war halt irgendwie klar er wohl dieser Bankräuber gewesen ist. Nun begab es sich so, dass diese Bank neun Monate vorher, auch schon mal von jemanden einzeln ausgeraubt wurde und man hatte natürlich so ein bisschen die Vermutung, hm ob er denn das vielleicht auch schon gewesen ist, also sie wollten ihm quasi diesen zweiten, Überfall dann äh auch noch nachweisen, wenn das denn gewesen ist. Und da sie aber keine Zeugen hatten oder zumindest keine Zeugen, die in der Lage waren, handfeste Beweise zu liefern, die jetzt da äh eindeutige Schlüsse zugelassen haben, hat sich äh ich weiß gar nicht, war das jetzt das FBI hier war immer nur von Ermittlern die Rede. Äh sag mal die Polizei hat sich sozusagen dann unter anderem an AT und T gewandt, um mal so von seinem Telefon so ein bisschen Bewegungsdaten zu bekommen und die haben das wohl nicht ausgeschlossen, aber die waren auch zu unpräzise, um's wirklich zu belegen, Na ja, aber die.

Linus Neumann
0:31:09
Tim Pritlove
0:31:13

Wenn dich das richtig interpretiere, ja, es gab Daten, aber sie waren nicht präzise. Genug. Also das war sozusagen die Aussage auch von äh ATNT selber. Trotz alledem haben sie die angefordert und auch erhalten. Gut, das waren jetzt neun Monate, ich weiß nicht ganz genau, wann diese Anfrage war, also wie viel äh Vorratsdatenspeicherung an der Stelle da gegriffen hat, war dann aber auch ähm ja gar nicht mal so sehr im Fokus. Und jetzt wird dieser Artikel so ein bisschen, ungenau oder ich, Bin mir nicht so sicher, ob ich das so scharf da aus der Schilderung herausgelesen habe, aber es wird quasi nahegelegt, dass man sich stattdessen äh seines Android-Telefons angenommen hat, und nun auf irgendeinem Wege eine sogenannte Location History auf Deutsch Standortverlauf, abgegrast hat, der einen sehr viel genaueres Bild gezeichnet hat und. Auf der Basis wurde dann klar, dass dieses Telefon und mit ihm wahrscheinlich auch seinen Besitzer sich sehr wohl zum Zeitpunkt des Bankraubs dort, befunden hat. Diese Location Historie ist ein Feature in Android, was im Prinzip, auch als User Facing-Feature freigeschaltet wurde, seit Mitte letzten Jahres, dann heißt es nämlich Timeline und ist schon ein richtig tolles Feature. Du machst dann irgendwie Google Maps und sagst hier, zeig mir mal meine Timeline Und auf einmal blättert das äh Telefon dir quasi alle Orte vor, die du so besucht hast. Und das Ganze ist so eine Art Extrakt aus dem eigentlichen technischen Location Trail, das heißt da wird halt geguckt, hast du dich irgendwo ein bisschen länger aufgehalten und bist da nicht nur dran vorbeigefahren und dann wird das eben gemappt mit seiner mit so einer Place-Datenbank und dann wird da eben gesagt, okay, du warst ja so lange in dem Restaurant und dann hier äh in der Bank Und na ja, das ist ein Feature, was auf dem Telefon stattfindet. Und das Besondere ist, dass halt dieses Feature auch explizit mit deiner Google ID, verknüpft wird, aber eben erst dann auch in der Cloud gespeichert wird, wenn du dem zugestimmt hast. Da lohnt sich mal äh in die Google-Account, Settings reinzugehen und zu schauen, ob eben dieser Standortverlauf dort auch äh eingeschaltet ist, ausschalten kann man ihn nicht, man kann ihn irgendwie nur pausieren, ich weiß nicht so ganz genau, was das bedeutet, wenn er schon Daten aufgelaufen sind und man pausiert dann, ob dann die Daten auch gelöscht werden. Man kann aber wohl in dieser Timeline. Aus Google Maps heraus auch diesen Trail bearbeiten und explizit bestimmte Daten oder Orte eben auch manuell löschen, müsste man aber gegebenenfalls auch, wenn man dort schon mehr Daten findet als einem das so lieb ist. Und man kann's halt auch freischalten, dass es in die Cloud gelegt wird, von daher und das da wurde jetzt auch in diesem Artikel nicht klar Ob jetzt in diesem Fall die Daten tatsächlich in der Cloud lagen, ob die Daten von Google kamen oder ob man sich mit oder ohne Hilfe von Google einfach nur des Gerätes und dieses Trails, dieser Location-Historie bemächtigt hat, Jetzt ist hier viel sehr viel ähm Fragezeichen äh mit drin, Die Story kam mir so ein bisschen bekannt vor, weil äh vor ein paar Jahren gab's ja schon mal einen ähnlichen Aufreger über ein äh entsprechenden Trail auf dem iPhone.

Linus Neumann
0:34:35
Tim Pritlove
0:34:37
Linus Neumann
0:35:32
Tim Pritlove
0:35:42
Linus Neumann
0:36:45
Tim Pritlove
0:37:15
Linus Neumann
0:37:18
Tim Pritlove
0:37:20
Linus Neumann
0:37:25
Tim Pritlove
0:37:32
Linus Neumann
0:37:33

Nicht schnell. Also äh GPS kann anfangs nicht schnell sagen, wo man ist. Dann aber, wenn es dann irgendwann du irgendwann mit den ganzen Satelliten deine Verbindungen hast, dann ist es natürlich sehr genau, aber nicht zügig. Und der an, der der äh und GPS braucht, der auch braucht auch sehr, Nennenswert Strom, den man gerne sparen möchte und deswegen machst du äh mach das Telefon nicht die ganze Zeit GPS, sondern es war für die ähm für die Mobiltelefonanbieter naheliegend zu sagen, Überall stehen, Towers rum, übrigens, ne, das Ursprühl, das erste iPhone hat das glaube ich nur anfangs nur auf der Basis von GSM-Funkmasten gemacht, Die ursprüngliche Datenbasis wurde glaube ich damals sogar gesammelt mit den Google Street View Autos von Google und die haben einfach gesagt, wir nehmen stationäre Funksender, wie, Ähm äh die Zell äh äh die also die Mobilfunkmasten, die WLAN-Sender und machen quasi eine Karte. Aus, welche Empfangsstärke, welches, welches WLAN-Signales haben wir an welchem Ort. Und äh, Wie gesagt, sind dann ursprünglich, ich glaube, die erste Datensammlung in der Art war mit den Google Streetwears, da haben sie auch noch auf den Sack bekommen, weil sie das WLAN mitgeschnitten hatten, äh wie heißt nochmal dieses WLAN mit Snift-Tool, was man dann nimmt, Tool, der Typ, der das geschrieben hatte, hat er auch diese Google Street View-Autos äh ausgestattet. Das war noch irgendwie ein ganz interessanter äh interessantes Ding damals, Das heißt, wenn du jetzt dieses Telefon irgendwie, wenn du Google Maps aufmachst an deinem Telefon, dann, Was ist als erstes macht ist es guckt nach den WLANs in seiner Umgebung und, Entweder hat es dann eine lokale Datenbank und weiß, ach ey wenn dieses WLAN hier ist, dann bin ich bin ich zu Hause oder er weiß natürlich nicht, dass es zu Hause ist, aber dann bin ich an diesem Ort. Ähm oder es schickt die gesammelten WLANs, die so empfängt. An die Cloud und sagt, gib mir doch mal eine grobe GPS-Position zurück, dann weiß ich wen, dann kriege ich hier schneller meinem Nutzer gesagt, wo wir sind. Und Apple hat diese Daten gesammelt, weil diese die WLANs ändern sich ja, kommen neue hinzu, werden äh werden umbenannt oder sowas, wenn du das jetzt nicht aufgrund der Mac-Adresse machst und, Apple hat dann diese Daten, Einen Ausschnitt dieser riesigen Datenbank, die sie irgendwo haben, wo drin steht, folgender GPS-Location, folgende Signalstärke von folgenden WLANs. Ähm davon hatten sie natürlich die Orte, an denen du dich häufig aufhältst, äh, in einem Cash drin und das war die Datei, äh die dann zu dem Location-Gate geführt hat, weil sie äh zu groß wurde, Zu viele Einträge hatte und außerdem in den iPhone Backups war und du konntest dann eine Software auf der Mac, ausführen, die diese Datei aus dem iPhone Backup angeschaut hat und dir visualisiert hat mit Punkten an den Orten.

Tim Pritlove
0:40:36
Linus Neumann
0:41:47
Tim Pritlove
0:42:32
Linus Neumann
0:42:34
Tim Pritlove
0:42:38

Nein, ich habe nur gesagt, warum es überhaupt diese Trails gibt. So und das hat sich ja bei bei äh Apple gezeigt in diesem Location geht, da war das sozusagen das erste Mal diese Thematisierung, wie funktioniert das eben? Das hast du ja eben wunderbar erklärt Natürlich gibt es diese Logik auch von Anfang an auf Android-Telefonen nur das Location ist, Refeature ist natürlich jetzt auf den Android-Telefon sehr viel mehr mit deiner ID vernetzt als das äh laut Apples Angaben äh bei iOS Der Fall ist, trotz alledem ist das sozusagen eine Grundfunktion, die so ein Telefon hat. Ähm ja, es ist dann auch, also es gibt dann auch noch äh einen Bericht von The Intersep, die ähm Dokumente zugespielt bekommen haben, dass eben explizite Trainingdokumente gibt beim äh FBI halt also tatsächlich daraufhin geschult werden, explizit diese Location-Historie von Android-Telefon, also da geht's jetzt auch ganz konkret um Android eben für sich nutzbar zu machen, in dem dann eben auch schon beklagt wird, dass es ja dann auch noch die Möglichkeit gibt für die User äh auch einzelne Einträge zu löschen. Da wissen sie wohl Noch nicht wie sie dem Herr werden sollen unklar bleibt warum. In welchem Maße Google jetzt hier, dazu beigetragen hat, da haben wir halt wieder diesen alten Fall mit was darf oder was muss Google wenn die Behörden anmarschiert kommen, liefern. Sie meinen halt, dass auch in den Fällen wo diese National Security Geschichte aktiviert wird, wo es ja sozusagen mit maximaler Geheimhaltung, diesen Gagorders äh am Start ist Meinen sie das selbst in den Fällen häufig, aber das sind halt jetzt so wirre Aussagen äh das noch nicht ausreicht, um eben Location Data auch zu präsentieren, weil es halt meistens irgendwie natürlich so, wir wollen mal in die Box äh schauen und ähnliche Geschichten sind, Gut, ist ähm ein Punkt, den man jetzt an der Stelle auch ein bisschen offen lassen sollen, wenn ihr aber ein Android-Telefon habt, solltet ihr unter Umständen zumindest mal checken, wie euer Setting ist.

Linus Neumann
0:44:47
Tim Pritlove
0:44:49
Linus Neumann
0:44:52

Danach wieder anmachen. Die äh sie. Ich finde das ganz interessant, weil immer so, weil ich weiß, ich seit wie viel Jahren jetzt immer so irgendwie Das Mobiltelefon als Ordnungswanze in ihrer Tasche. Wir alle haben eins. Und es ist immer so, wenn irgendwann kommt, blutet die das aus den Ohren, ne? Aber es ist halt nur leider echt so, ne? Das ist äh und es gibt dann immer auch so äh, Finde das ganz interessant. Ähm jetzt gerade wieder gesehen, dass es äh ich glaube, das geht ja ursprünglich Aram Barthol. Ich weiß nicht, ob der das vor zehn Jahren gemacht hat oder so als Kunstaktion. Äh dieser Pharadation äh Taschen für, Mobiltelefone, ne? Wo du sagen kannst, okay, wenn das da drin ist, hat es keinen Empfang mehr und das ist immer noch irgendwie so ein Ding, ne, das was du dann auf Workshops oder so siehst, wo dann Leute sagen so, jetzt äh nähen wir eine paradäsche Tasche für unser Telefon. Edwards Norden hat noch irgendwie letztens gesagt, sie je nachdem, was dein Paranoia-Level ist, ne, nimm den Akku raus und tust in eine Feriday-Tasche und irgendjemand antwortet dann auf Twitter so. Ja, ich habe ein iPhone Kann ich ja keinen Akku rausnehmen, ne? Äh schöne Scherze. Ähm ja, weil also man sollte dann eben ähm wenn man jetzt wirklich ähm, ne? Also wenn man wirklich nicht möchte, dass irgendwann einmal nachweisbar ist, dass man einen Ort war, dann ist das schon echt eine Herausforderung heutzutage. Also Telefon mitnehmen grundsätzlich nicht empfohlen, aber da hast du halt auch noch die Überwachungskameras, die irgendwo an der an der Decke kleben und so. Es ist schon äh wirklich, Glaube ich ziemlich schwierig. Dich heute noch irgendwo an einen Ort zu bewegen ohne darüber eine digitale Spur zu hinterlassen.

Tim Pritlove
0:46:37
Linus Neumann
0:46:41
Tim Pritlove
0:46:42
Linus Neumann
0:46:46

Letzte Woche haben wir uns über den den Urheberrechtsstreit äh zwischen Google und Orical ähm unterhalten und man hat ja also In den Kommentaren wurde auch angemerkt, dass wir wahrscheinlich da die gesamte Bedeutung und das Ausmaß und äh den Streit dieses äh Streit Kernpunkt dieser gerichtlichen Auseinandersetzung nicht einhundert Prozent erfasst haben. Ähm, einer der äh klarsten Kommentare dazu kam von Alex, äh der eben schrieb, na ja. Also Alex hat das, hat diese Sache so ein bisschen äh besser verfolgt. Offenbar und sagte, der aktuelle Prozess findet doch nur statt, weil der zuständige äh Peelskord zuvor entschieden hat, dass es eben doch ein Copyright of APIs gibt. Anmerkung, das Gericht, vor dem der aktuelle Prozess läuft, hatte in zweitausendzwölf noch entschieden, dass das nicht der Fall sei, Und jetzt geht es in, ging es in diesem Verfahren nur darum, ob die remplementierung der Java API durch Google, Fair Use war oder nicht. Und entsprechend sieht auch das äh Urteil aus. Äh in dem nämlich äh äh die, die Geschworenen glaube ich oder was auch immer da, wie wer auch immer entschieden hat, äh die genau diese Frage beantwortet haben fällt das, was Google da getan hat unter Fair-Use und das Häkchen ist bei ja und drüber steht noch der Hinweis, du musst eindeutig antworten und das wurde auch getan Und ähm dass dieses Urteil spart also jetzt, Google neun Milliarden Dollar Entschädigung und das Urteil heißt also Google hat mit Android die Rechte der Firma Orical an der eingekauften Programmiersprache Java, nicht zumindest nicht so tiefgreifend und signifikant verletzt, sie zu Schadenssatz, Schadensersatz verpflichtet werden. Es gibt jetzt gemischte Gefühle zu diesem Urteil, ne? Die einen sagen, na ja, also wenn ich äh eine auch wenn nicht irgendwas Open Source mache oder so, dann will ich ja auch, dass die Leute sich an die Lizenz halten und ob da jetzt irgendwie tausend Zeilen Code kopiert wurden oder nicht und in kommerzielles Produkt eingebaut wurden, Ich weiß es tatsächlich nicht genau zu beurteilen. Dieses dieses Thema, Kann ich nicht genug zu sagen. Bin also da fehlt mir auch so ein bisschen die Emotion. Ob ich Orical jetzt neun Milliarden gegönnt hätte, weiß ich nicht, ob ich Google mal eine neun Milliarden Strafe für diesen Android Fuckup äh gegönnt hätte weiß also ja.

Tim Pritlove
0:49:28
Linus Neumann
0:51:34
Tim Pritlove
0:52:07
Linus Neumann
0:52:09

Ganz eine eine schöne Forschung äh von der äh freien Universität Amsterdam, die sagt, die haben sich die Flicker für die Kay genommen, das ist eine äh Fotodatenbank mit äh dreißigtausend Bildern und, Dann haben sie per Crowdsourcing Beschreibungen des Bildinhaltes gesammelt. Ähm, Crowdforcing, in dem Fall nicht nur von Freiwilligen, sondern sie haben ähm Helfer, die sie über Amazons, Minijob äh Plattform McCanical Turk äh angeheuert haben. Micanical Turk ist ja ein ein lustiger Begriff, also der mechanische Türke, eine ähm ich kenne mir ich weiß nicht mehr ganz genau, wer dieser Begriff stammt, aber es ist im Prinzip die Idee, dass also, dass du ein, dass für einen Menschen hast, der. Eine Automatisierbare Aufgabe erfüllt und dadurch du den Eindruck hast, dass es irgendwie so ein Roboter ist, ne? Also kannst bei Amazon McCanical Turk eben Kleinstaufgaben äh, Ähm erledigen lassen und und Menschen dafür bezahlen, die eben wenig Geld für äh, einfache Arbeiten bekommen. Und ähm haben gesagt, schaut euch bitte diese Bilder an und ähm beschreibt, was da drin zu sehen ist. Dann haben sie für jedes dieser dreißigtausend Bilder jeweils fünf, Beschreibungen gesammelt über McCanical äh Turk. Und da haben sie festgestellt, ähm dass sich in diesen Bildbeschreibungen, die ja dann, in also so lernst, lernst du ja einer künstlichen Intelligenz, das Erkennen von Bildern ihr einfach Bilder gibst und Bildbeschreibung und sagst, hier sieht man das, hier sieht man das, guck dir das an, merk dir's und versuch dir zu, versuch es zu erkennen. Äh der Rest, den Rest macht das neuronale Netz und äh fertig.

Tim Pritlove
0:54:01
Linus Neumann
0:54:05

Genau. Jetzt haben sie gesagt, na ja, in diesen Beschreibungen steht zum Beispiel, das war irgendwie ein Mann und eine Frau zu sehen und die Beschreibung war, hier wird eine Arbeiterin von ihrem Chef, ernst gemaßregelt. Dabei war in dem Bild überhaupt nicht erkennbar. Was jetzt das Verhältnis äh der beiden ist ähm sie blickt hier jetzt in diesem Foto kurz zu Boden, aber ob er sie jetzt maßregelt oder tröstet, war halt nicht zu erkennen, aber er hat nicht irgendwie so ein bisschen Arbeitsklamotten an, also ne, aber ist In dem Bild war das einfach nicht zu sehen äh und äh oder das war halt eine klare Interpretation, die Menschen da geliefert haben, nämlich, dass die Frau selbstverständlich äh hier die äh die Untergebene ist, wenn der Mann mit ihr redet, der ist ja auch größer, ja? Und äh da spiegeln sich eben dann in diesen einfachsten Bildbeschreibungen, Stereotype, die Menschen über unsere Gesellschaft haben. Dieses Serie Type sind, ja? Ähm deshalb da, weil sie, im größeren Teil der Fälle zutreffend sind. Das ist der Grund, warum wir Menschen Stereotypen haben, weil sie uns helfen, uns, schnell zu orientieren und das haben diese Personen, die dieses Bild beurteilt haben auch. Wo gesagt, ah, wann habe ich, wo habe ich sowas schon mal gesehen? Ja, Klassiker, äh die Arbeiterin wird von ihrem Chef äh zur Sau gemacht, ja, Wie gesagt, das war keine objektive Bildbeschreibung. Und war eben von Stereotypen geprägt. Anderes ähm. Beispiel war, dass Leute ähm Dinge explizit erwähnen, die von ihrer allgemeinen Erwartung abweichen. Zum Beispiel, Wenn sie ein weißes Baby sehen, sagen sie, da ist ein Baby zu sehen. Wenn sie ein dunkelhäutiges oder asiatisches Baby sehen, dann sagen sie, ah, guck mal hier ein dunkelhäutiges Baby oder ein asiatisches Baby und ergänzen das um die Herkunft, das heißt eine, KI, die dann aufgrund dieser Bildbeschreibung lernt. Lernt direkt mit, ne? A hier, die Frau ist untergeben, ja? Oder ähm dass ein Baby ist weiß, Und wenn es nicht weiß ist, dann ist es eben ein schwarzes Baby oder ein asiatisches Baby. Und ähm, Er sagt dann eben das Datenmaterial, das dem Training äh neuronaler Netze zu Krone liegt, kann eben genau diese rassistischen und sexistischen Stereotypen transportieren, Und die dann unter Umständen von der Software repliziert werden, also genau das, was wir vor einigen Sendungen hier auch so festgehalten haben, dass, Eine künstliche Intelligenz, manifestiert das, was ihr beigebracht wurde, wenn man nicht dafür sorgt, dass sie äh andere Möglichkeiten hat und bei ähm. In den in der Folge, wo wir das besprochen haben, haben wir irgendwie über sowas wie Kreditkreditvergabe oder solche Scherze gesprochen. Aber bei der komplexen Erkennung eines Bildes Ist das natürlich durchaus äh Einkommen eine sehr viel komplexere künstliche Intelligenz als diese Basalen, die wir da im Beispiel genommen haben klar, das heißt natürlich also was du tun musst ist, möglichst diverse Datengrundlage haben und deine deine Bildbeschreibung eben nicht nur von von von Weißen amerikanischen Männern da anliefern lassen. Also.

Tim Pritlove
0:57:33
Linus Neumann
0:57:40
Tim Pritlove
0:57:46
Linus Neumann
0:57:51
Tim Pritlove
0:57:52
Linus Neumann
0:58:00
Tim Pritlove
0:58:08
Linus Neumann
0:58:42
Tim Pritlove
0:58:45
Linus Neumann
0:58:56
Tim Pritlove
0:59:05
Linus Neumann
0:59:06
Tim Pritlove
0:59:11
Linus Neumann
0:59:12
Tim Pritlove
0:59:41
Linus Neumann
0:59:42
Tim Pritlove
1:01:00
Linus Neumann
1:01:01

Dann hat das BSI erstmal nicht beantwortet, geantwortet und gesagt. Im Rahmen unseres Präventionsauftrages werden wir für wir für einen bewussten Umgang mit Informationstechnologie und Weisen in diesem Fall konkret auf das Sicherheitsrisiko hin, dass durch USB Ports entsteht. Hierbei spielt es keine Rolle, ob ein Genuiner USB-Stick als Speichermedium ein Ladegerät für E-Zigaretten oder ein anderes über den USB-Pot anzuschließen, das Endgerät als Träger der Schadsoftware genutzt wird. Da möchte ich wieder sprechen. Ähm und zwar, Diese gesamte USB-Panik geht äh zurück auf ein äh auf eine Präsentation von äh. Meinem ehemaligen Kollegen, Jakob Lell, der das äh bei der Black Cat vorgeführt hat. Ich weiß gar nicht, ob das auch dann nochmal beim, Kongress vorgeführt hat und zwar hat Jakob ähm eine einen USB, Gerät genommen. In dem Fall waren das USB-Sticks. Und wenn man sie jetzt so einen USB-Stick vorstellt, da ist halt eine Platine drin. Vorne ist eben, dann sind da die vier USB-Kontakte und die sind verbunden mit einem, USB Controller. Das ist ein Chip, der äh USB spricht, also den Standard ähm USB, beherrscht und diese Schnittstellenarbeit mit dem Computer verrichtet. Und dahinter sind dann noch ein paar andere Sachen drauf gelötet und dann eben die Speicherchips, der Flashspeicher und dieser Controller macht eben äh, dass der USB-Stick an den Computer dran steckt, wird Strom kriegt und sagt, schönen guten Tag, ich bin ein USB-Gerät. Und ich bin ein USB Gerät der Klasse, Maß Storage Device, du kannst mit mir über das dir bekannte USB-Protokoll für Maß äh Storage Devices sprechen und dann werde ich der Daten speichern oder Daten liefern und jetzt geht's los. Jetzt nimmst du dir eine Maus oder eine Tastatur und äh machst die auf, dann hast du da den gleichen Chip drauf mitunter, Ähm der in dem Fall aber dann dem Computer sagt, hallo, ich bin ein USG Gerät der Klasse Human Interface Device. Ähm und ich bin also jetzt eine Tastatur und ich werde dir äh Tastenanschläge liefern, und dann setze die Bitte um und was Jakob gelungen ist ist diesen, das war halt bei USB-Sticks, nachher wird's auch bei allem anderen gemacht ähm, USB-Sticks um zu programmieren, dass sie, wenn sie mit dem Computer verbunden werden, zum Beispiel sagen, jo, hi. USB Maßstorage, sie weiß, äh, Speicher und so weiter und wenn dann irgendwie eine Zeit lang keine ähm keine Verbindung mehr kommt, Oder so, das kannst du also programmieren, wie du möchtest. Sagt der äh USB-Chip auf einmal. Ach so, äh übrigens ähm, der Maß des Maßstaubs Device ist jetzt weg oder es ist immer noch da, aber ich habe hier übrigens auch noch eine Tastatur, das ist ein Humanita Festivals und dann konntest du äh eben, In dem Moment mit dem Computer arbeiten, als hättest du physikalischen Zugriff darauf und zum Beispiel Tastenkombinationen eingeben. Das Gängige war dann eben, was weiß ich, Staat, äh P äh, A, also Startprogramme ausführen oder sowas und dann Kalkexe oder dann eben ein Powershell Kommando, mit dem du dir einen Trojaner nachlegst und dann den den Rechner infizierst. Ähm, dieser die Sachen, die du mit der Tastatur machst, wolltest du möglichst simpel und kurz halten, weil es unglaublich schwierig ist. Oder unglaublich viel Feinabstimmung benötigt, diesen Angriff dann auch wirklich gangbar zu machen. Das nämlich wenn der Nutzer noch dransitzt, der dir nicht irgendwie aus Versehen in dein Befehl reinfruchtet. Ähm, also der Batty-USB-Angriff war ein, bin ich immer noch sehr beeindruckt von der technischen Finest und der Genialität dieser Idee. Aber es ist eben auch ein Angriff, der in der Praxis ähm. Trotzdem er jetzt jahrelang bekannt ist und dann auch einige andere Forscher äh Open Source Varianten davon äh veröffentlicht haben. Ähm, einfach in der freien Wildbahn ohne nennenswerte äh Signifikanz. Äh bisher wird aber auch, bei jeder Gelegenheit wirklich von jedem äh äh von jedem vortragenden aus äh, aus dem Hut gezaubert, gesagt, heute kann ein einfacher USB-Stick zur Cyberwaffe werden und äh wir müssen jetzt USB-Sticks verbieten in unserem Unternehmen und was nicht alles. Also es hat eine unglaubliche Panik äh ähm, herbeigeführt, die ich dem tatsächlichen, der tatsächlichen Realität dieses Angriffs äh finde ich vernünftig angemessen, halte. Es gab dann noch weitere Überlegungen wie du dann zum Beispiel auch erkennen kannst anhand dessen wie dein Computer mit dem USB-Stick spricht, ob du jetzt von gerade in ein Mac Linox oder äh Windows gesteckt wurdest und dann entsprechend halt das Infektionskommando von Linux ausrollst, das Infektionskommando für ein Windows, das Infektionskommando für Mac. Also dieser Angriff funktioniert, aber ich weiß aus eigener hautnah Erfahrung, weil ich eben bei der Entwicklung daneben saß und denen auch, in verschiedenen Anwendungsfällen dann mal zu Demonstrationszwecken umgesetzt habe, oder eingesetzt habe, wie schwierig es tatsächlich ist, das zu machen. Also da da steckt der Teufel im Detail und ich glaube das hat eben auch dafür dazu gesorgt hat dafür gesorgt dass es kein massenhaftes Angriffsphänomen wurde, weil es eben immer noch einfachere und billigere Möglichkeiten gibt, viel mehr Leute äh zu infizieren. Das musste dann eben auch so so der kurze Einschub das BSI eingestehen, Und haben gesagt, ja, USB-Speichermedien sind derzeit nicht der Hauptangriffsvektor für Cyberkriminelle. Schon weil die Verteilung von Schadsoftware nicht die, nicht in derselben Breite möglich ist etwa durch den Versand von Spam Mails. Dennoch ist der USB-Ports angesichts immer mehr aus skurriler USB-Fähiger Geräte ein mögliches Einfallstor für Schadsoftware, auf das es zu achten gilt. Grundsätzlich bekannt, ist die Angriffsmethode via USB spätestens seit zwanzig vierzehn, also hier der klare Bezug auf äh die Forschung äh von Jakob, Ähm was ich mich frage ist. Ob so eine USB-Zigarette, so eine Cyberzigarette oder wie die heißen, E-Zigarette überhaupt, Ein USB-Controller haben, den ich hacken könnte oder umprogrammieren könnte. Weil ich nicht weiß, ob diese Dinger Logik haben. Ich glaube, es gibt Modelle, die man dann irgendwie auch umprogrammieren kann wo man sagt, mach wärmer oder kälter oder irgendwie sowas, also mit Sicherheit.

Tim Pritlove
1:08:22
Linus Neumann
1:08:26
Tim Pritlove
1:08:26
Linus Neumann
1:08:40
Tim Pritlove
1:08:43
Linus Neumann
1:08:45
Tim Pritlove
1:08:47
Linus Neumann
1:08:59
Tim Pritlove
1:09:05
Linus Neumann
1:09:08
Tim Pritlove
1:09:13
Linus Neumann
1:09:16
Tim Pritlove
1:09:48
Linus Neumann
1:09:54
Tim Pritlove
1:10:48
Linus Neumann
1:10:53
Tim Pritlove
1:11:00
Linus Neumann
1:11:04
Tim Pritlove
1:11:07
Linus Neumann
1:11:34
Tim Pritlove
1:12:39
Linus Neumann
1:12:41
Tim Pritlove
1:13:58
Linus Neumann
1:14:00
Tim Pritlove
1:14:07
Linus Neumann
1:14:12
Tim Pritlove
1:14:14
Linus Neumann
1:14:21
Tim Pritlove
1:14:22
Linus Neumann
1:14:27
Tim Pritlove
1:15:37
Linus Neumann
1:15:45
Tim Pritlove
1:15:54
Linus Neumann
1:16:04
Tim Pritlove
1:16:05
Linus Neumann
1:16:09
Tim Pritlove
1:16:16

Ja

Linus Neumann
1:16:17
Tim Pritlove
1:16:20
Linus Neumann
1:16:21
Tim Pritlove
1:16:38
Linus Neumann
1:16:49
Tim Pritlove
1:16:50
Linus Neumann
1:17:34
Tim Pritlove
1:17:38
Linus Neumann
1:17:43
Tim Pritlove
1:17:52
Linus Neumann
1:17:59
Tim Pritlove
1:18:21
Linus Neumann
1:18:37
Tim Pritlove
1:18:39
Linus Neumann
1:18:50
Tim Pritlove
1:18:51
Linus Neumann
1:19:32
Tim Pritlove
1:19:43
Linus Neumann
1:19:47
Tim Pritlove
1:19:48
Linus Neumann
1:19:57
Tim Pritlove
1:20:00
Linus Neumann
1:20:06
Tim Pritlove
1:20:48
Linus Neumann
1:20:51
Tim Pritlove
1:20:55
Linus Neumann
1:21:27
Tim Pritlove
1:22:20
Linus Neumann
1:22:21
Tim Pritlove
1:23:06
Linus Neumann
1:23:08
Tim Pritlove
1:23:10
Linus Neumann
1:23:12
Tim Pritlove
1:23:39
Linus Neumann
1:23:41
Tim Pritlove
1:23:48
Linus Neumann
1:23:52
Tim Pritlove
1:23:56
Linus Neumann
1:24:07
Tim Pritlove
1:24:08
Linus Neumann
1:24:11
Tim Pritlove
1:24:31
Linus Neumann
1:25:35
Tim Pritlove
1:26:27
Linus Neumann
1:26:33
Tim Pritlove
1:26:54
Linus Neumann
1:27:07
Tim Pritlove
1:27:23
Linus Neumann
1:27:25
Tim Pritlove
1:27:27
Linus Neumann
1:27:37
Tim Pritlove
1:27:55
Linus Neumann
1:27:59
Tim Pritlove
1:28:07
Linus Neumann
1:28:16
Tim Pritlove
1:28:55
Linus Neumann
1:28:58
Tim Pritlove
1:29:06
Linus Neumann
1:29:22
Tim Pritlove
1:30:06
Linus Neumann
1:30:08
Tim Pritlove
1:30:38
Linus Neumann
1:30:42
Tim Pritlove
1:30:43
Linus Neumann
1:30:46
Tim Pritlove
1:31:00
Linus Neumann
1:31:02
Tim Pritlove
1:31:13
Linus Neumann
1:31:18
Tim Pritlove
1:31:19
Linus Neumann
1:31:27
Tim Pritlove
1:31:33
Linus Neumann
1:31:37
Tim Pritlove
1:31:48
Linus Neumann
1:31:49
Tim Pritlove
1:32:29
Linus Neumann
1:32:31
Tim Pritlove
1:32:57
Linus Neumann
1:33:04
Tim Pritlove
1:33:08
Linus Neumann
1:33:17
Tim Pritlove
1:33:19
Linus Neumann
1:33:23
Tim Pritlove
1:33:26
Linus Neumann
1:33:27
Tim Pritlove
1:33:31
Linus Neumann
1:33:35
Tim Pritlove
1:33:43
Linus Neumann
1:33:48
Tim Pritlove
1:33:50
Linus Neumann
1:34:08
Tim Pritlove
1:34:12
Linus Neumann
1:34:18
Tim Pritlove
1:34:23
Linus Neumann
1:34:25
Tim Pritlove
1:34:26
Linus Neumann
1:34:31
Tim Pritlove
1:34:56
Linus Neumann
1:35:03
Tim Pritlove
1:35:06
Linus Neumann
1:35:08
Tim Pritlove
1:35:11
Linus Neumann
1:35:22
Tim Pritlove
1:35:23
Linus Neumann
1:35:25
Tim Pritlove
1:35:29
Linus Neumann
1:35:35
Tim Pritlove
1:35:46
Linus Neumann
1:35:47
Tim Pritlove
1:36:02
Linus Neumann
1:36:38
Tim Pritlove
1:36:49
Linus Neumann
1:36:56
Tim Pritlove
1:37:01
Linus Neumann
1:37:02