LNP486 Das fünfte Element

Veröffentlicht am 14. März 2024 von Tim Pritlove

Product Liability Directive — Cyber Resilience Act — Platform Workers Directive — European Health Data Space — AI Act

Die heutige Folge ist ein Spezial zur aktuellen EU-Gesetzgebung. Tim und Thomas besprechen mit Ralf Bendrath und Arnika Zinke, die beide für die Grüne Fraktion in der EU an der Gesetzgebung mitarbeiten, gerade bzw. bald beschlossene neue Richtlinien und Verordnungen. Einen besonderen Schwerpunkt legen wir dabei auf den AI Act und diskutieren seine Entstehung und konkrete Ausgestaltung.

Tim Pritlove

Thomas Lohninger

Arnika Zinke

Ralf Bendrath

Für diese Episode von Logbuch:Netzpolitik liegt auch ein vollständiges Transkript mit Zeitmarken und Sprecheridentifikation vor.

Bitte beachten: das Transkript wurde automatisiert erzeugt und wurde nicht nachträglich gegengelesen oder korrigiert. Dieser Prozess ist nicht sonderlich genau und das Ergebnis enthält daher mit Sicherheit eine Reihe von Fehlern. Im Zweifel gilt immer das in der Sendung aufgezeichnete gesprochene Wort. Formate: HTML, WEBVTT.

Transkript

Tim Pritlove 0:00:00

Guten Morgen Thomas.

Thomas Lohninger 0:00:01

Guten Morgen Tim.

Tim Pritlove 0:00:03

Sag mal, wie ist eigentlich das Wetter in Brüssel?

Thomas Lohninger 0:00:05

Das muss noch abgestimmt werden. Wir haben noch kein Tredo-Gergebnis.

Tim Pritlove 0:00:29

Logbuch Netzpolitik Nummer 486 vom 13. März 2024. 2024.Und ja, den Linus, den habe ich mal kurz weggeschickt, damit wir hier uns malum die seriösen Themen kümmern können.Und begrüßen natürlich erstmal Thomas. Habt ihr schon gehört? Hallo Thomas.

Thomas Lohninger 0:00:51

Hallo. Genau.

Tim Pritlove 0:00:52

Und heute haben wir eine große Runde, nämlich eine große EU-Runde und begrüßenaußerdem noch den Ralf, Ralf Benrath. Hallo.

Ralf Bendrath 0:01:01

Hallo.

Tim Pritlove 0:01:01

Hallo, du warst ja schon mal bei uns und ganz frisch neu mit dabei,grüße ich auch noch die Annika, hallo.

Arnika Zinke 0:01:10

Hallo, servus.

Tim Pritlove 0:01:13

Ja, Annika, Annika Zinke, fangen wir doch mal mit dir kurz an.Stell dich doch mal bitte kurz vor, dass wir mal wissen, was du so machst und was dich zu uns führt.

Arnika Zinke 0:01:26

Ja, hallo, freut mich sehr dabei zu sein. Genau, also ich bin Annika,ich komme ursprünglich aus Wien.Also jetzt haben wir heute zwei Quoten Österreicher quasi im Podcast.Das kommt wahrscheinlich auch nicht so oft vor. Genau, ich war ursprünglichJournalistin in Wien und bin dann über Umwege in Brüssel gelandet.War dann bei Alexandra Gese als Praktikantin im Office und habe dort auch begonnen,an Digital Services Act zu arbeiten.Und bin dann in die Fraktion gewechselt, vor zweieinhalb Jahren in der Fraktionder Grünen und war dort zuerst Beraterin für horizontale Digital-Koordinierung.Das heißt quasi über die verschiedenen Ausschüsse übergreifend alles,was Digitalpolitik trifft, zukoordinieren und im Rahmen dessen auch recht stark KI-Gesetz gearbeitet,weil das natürlich über sehr viele verschiedene Ausschüsse drübergegangen ist,weil das ein Thema ist, das nicht unbedingt in einen Ausschuss gut reinpasst.Und bin seit gut einem Jahr jetzt im Binnenmarktausschuss, was einer der zweifederführenden Ausschüsse im KI-Gesetz auch ist, über das wir heute noch sprechen werden.Genau, und habe aber unter anderem auch an anderen Files gearbeitet,wie zum Beispiel im European Media Freedom Act, der heute auch im Plenum abgestimmt wurde.Im Cyber Resilience Act habe ich auch ein bisschen mitgearbeitet.Genau, also alles, was quasi Digitalpolitik betrifft und Binnenmarkt irgendwiebetrifft, fällt in meinen Ressort.

Tim Pritlove 0:02:52

Was war denn so uninteressant am Journalismus, dass du die Politik gewechselt bist?

Arnika Zinke 0:02:57

Es war nicht unbedingt uninteressant, aber zum einen, wie es für viel bewusstist, ist der Journalismus ein recht prekäres Arbeitsumfeld.Das war also einer der Hauptgründe. Und der andere Grund war auch,dass dadurch, dass wir sehr viel online gearbeitet haben,ich großes Interesse daran hatte, besser nachzuvollziehen, beziehungsweise mehrdaran zu arbeiten, wie Plattformen eigentlich Inhalte verbreiten,verbreiten, mehr Richtung eben Empfehlungsalgorithmen zu arbeiten.Und deswegen habe ich dann auch, ja, war ich sehr interessiert,am Digital Services Act zu arbeiten, habe dazu auch meine zwei Masterarbeiten geschrieben.Also die Digitalpolitik hat mich im Rahmen meiner journalistischen Karrierequasi immer mehr begleitet, sodass ich dann so interessiert daran war,dass ich mir dachte, okay, ich möchte hauptberuflich daran arbeiten.

Tim Pritlove 0:03:42

Okay. Masterarbeit in was?

Arnika Zinke 0:03:46

Also es waren zwei zum Digital Services Act, weil ich habe dann schon nicht genug davon bekommen.Also beim einen ging es darum, wie Initiativberichte im EU-Parlament,ob die eine Auswirkung auf die Kommissionsvorschläge haben können.Und das habe ich im Rahmen des Digital Services Act gemacht.Und bei dem anderen ging es mehr um Empfehlungsalgorithmen und wie die DigitalServices Act reguliert werden.

Tim Pritlove 0:04:10

Und das war dann für Politikwissenschaft?

Arnika Zinke 0:04:12

Genau, Politikwissenschaften und internationale Beziehungen.

Tim Pritlove 0:04:16

Okay.

Thomas Lohninger 0:04:17

Wir haben heute ja sehr viele EU-Themen. Da können wir gleich einsteigen.Ein Initiativbericht, weil das ist auch ein Begriff, der gerade gefallen ist.Das sind einfach nicht bindende Resolutionen, könnte man sagen,die das Parlament erlässt.Also das sind fast die einzige Sache, die das Europaparlament von sich aus machenkann und initiieren kann, die halt zur Meinungsbildung dienen sollen.Was hat denn deine Masterarbeit ergeben? Haben sie einen Impact gehabt?

Arnika Zinke 0:04:46

Genau, es ist so, dass das Parlament ja kein Vorschlagsrecht hat,im Gegensatz zur Kommission, die die Gesetze ja vorschlagen darf.Und von allein hat am Anfang ihres Mandatsangekündigt, dass sie die Initiativberichte mehr ernst nehmen wird.Und das, was meine Forschung ergeben hat, ist, dass es zwar...In der Theorie nicht übernommen werden muss, in der Praxis es aber schon derKommission etwas bringt, wenn die Mehrheiten in den Initiativberichten geformtwerden, auch berücksichtigt werden im Vorschlag.Das heißt natürlich, wenn man möchte, dass der Vorschlag in irgendeiner WeiseErfolg hat, ist es nicht dumm, sich anzusehen, wie Mehrheiten im Parlament gebildet werden.Und natürlich, wenn das Parlament dann genau zu einem bestimmten Bereich etwasveröffentlicht, dann schon einen Einfluss.Aber grundsätzlich ist es halt schon so, dass viele von den Initiativberichtenauch nicht, vor allem Initiativberichte, die jetzt nicht unbedingt auf ein Gesetzspezifisch ausgerichtet sind, nicht unbedingt den Erfolg haben,den sich manche Politiker inne erhoffen.Also man muss da schon auch ein bisschen differenzieren und es ist nicht so,dass jeder Initiativbericht mit dem Strichpunkt übernommen worden ist.Aber gerade beim Digital Services Act, was ja auch ein sehr großes Gesetz war,war das ein bisschen anders, würde ich sagen.Aber vielleicht mal greife ich noch, was zu sagen, weil Ralf schon länger im Parlament ist als ich.

Tim Pritlove 0:06:10

Ja, genau, Ralf, sag doch mal was. Du darfst dich auch noch mal vorstellen.

Ralf Bendrath 0:06:16

Ja, danke auch noch mal für die Einladung. Ich bin, genau wie Annika,Fraktionsreferent der Grünen-EFA-Fraktion im Europäischen Parlament.Ich bin für den Ausschuss für Bürgerliche Freiheiten, Justiz und Inneres zuständigund mache da vor allem Datenschutz.Das ist der Ausschuss, der auch federführend für Datenschutz zuständig ist.Nebenbei aber alles, was an anderen Digitalsachen so anfällt,inklusive auch Polizeiinformationsaustausch, polizeiliche und justizielle Zusammenarbeit und solche Sachen.Ich mache aber inzwischen relativ viel auch ausschussüberschreitende Arbeit,weil jetzt inzwischen die Kollegen alle mitgeschnitten haben,dass ich hier der Onkel Ralf von der DSGVO bin.Ich habe früher für den Berichterstatter Jan-Philipp Albrecht bearbeitet,als das Ding verhandelt wurde und habe seitdem sogar einen IMDb-Eintrag.Und jetzt kommen die Kollegen immer und haben irgendwas zu europäischer Sozialversicherungskarteim Beschäftigungsausschuss oder zu Veröffentlichung von Agrarzuschüssen im Agrarausschussoder zu irgendwelchen anderen Themen,wo es irgendwie dann auch Datenschutzfragen plötzlich gibt.Ich gehe jetzt zum Financial Information Access Geschichte, Finanzdatenraumund komme immer, Ralf, kannst du hier mal drüber gucken?Und das ist ganz, bis zur Fischerei ging das schon. Das ist irgendwie ganz lustigmanchmal. Dann lernt man auch viel über den Tellerrand hinaus.Ja, und ich habe jetzt die Freude gehabt, mit Arne quasi die letzten,weiß nicht, drei Jahre oder so zusammenzuarbeiten am KI-Gesetz,am Artificial Intelligence Act, weil...Ja, da kommen wir später zu. Die Details dazu spreche ich mir für nachher.Aber warum das ein gemeinsames Ausschussverfahren mit dem Binnenmarkt und demInnenausschuss war, das war eine lustige Geschichte.Es gibt noch Axel Voss-Witze später.

Tim Pritlove 0:07:58

Das sind immer die besten. Und hast du auch schon einen Initiativbericht mal angestoßen?

Ralf Bendrath 0:08:05

Angestoßen selber nicht.Verdoppelt. Wie viel davon jetzt in der KI- Verordnung im IAI-Act gelandet ist,ich glaube ehrlich gesagt gar nicht so viel, weil die Kommission da einen sehrstrikten Rahmen gesetzt hat, aber da gehen wir später noch an die Details.

Tim Pritlove 0:08:48

Nur mal um so ein Gefühl dafür zu bekommen, weil ich habe diesen Begriff Initiativberichtehrlich gesagt noch nie gehört, aber wie viele werden denn da so pro Jahr von gemacht?Ist das so ab und zu mal einer oder passiert das am laufenden Meter?

Ralf Bendrath 0:09:01

Nee, das passiert viel viel am Anfang der Legislaturperiode,wenn die neue Kommission erst anfängt, ihr Arbeitsprogramm abzuarbeiten undbis dann die ersten Gesetzesvorschläge kommen, dauert es meistens eine Weileund dann sind die Leute noch übermotiviert und wollen selber was machen.

Tim Pritlove 0:09:14

Hast du so Beschäftigungstherapie fürs Parlament?

Ralf Bendrath 0:09:16

So ein bisschen. Die Abgeordneten wollen mal irgendwas sagen,ohne dass es gleich ein Gesetz ist und dann schreibt man halt so einen Initiativbericht.Das ist quotiert. Das können nicht beliebig viele werden.Ich weiß nicht, ob das in allen Ausschüssen so ist. Bei uns im Innenausschussist es so, dass dass, glaube ich, parallel immer nur sechs gleichzeitig verhandelt werden dürfen?

Arnika Zinke 0:09:36

Ich glaube, die Kapazität hätten wir gar nicht, sechs gleichzeitig zu verhandeln.Also ich glaube, daran scheitert es schon, aber normalerweise kann man die vorschlagenund das ist in der Menge begrenzt.Aber wir hatten zum Beispiel im Binnenmarktausschuss gegen Ende noch einen sehr erfolgreichen,Initiativbericht zu Addictive Design, also Abhängigkeit machendem Design,sein, hört sich in Deutsch nicht so gut an, wo wir das Feedback auch von derKommission bekommen haben, dass das eins der Top-Themen ist,an dem die jetzt auch für die nächste Legislaturperiode arbeiten.Also es kommt auch ein bisschen darauf an, in welcher, ob man quasi so ein bisschendas Gefühl hat, in die richtige Richtung quasi zu stechen mit dem Thema.

Ralf Bendrath 0:10:15

Also Initiativberichte sind so ein bisschen strikter reguliert.Die müssen von der Konferenz der Fraktionsvorsitzenden bewilligt werden.Wie gesagt, es darf nur sechs parallel laufen, zumindest in meinem Ausschuss.Andere Ausschüsse können aber noch eine Beteiligung einfordern und dazu nochOpinions machen, die dann irgendwie berücksichtigt werden müssen oder auch nicht.Das ist ein bisschen mühsam. In meinem Ausschuss ist es eher so,wenn wir irgendwie eine Stellungnahme raushauen wollen, dann machen wir eine Resolution.Die wird einfacher verhandelt, die muss nicht genehmigt werden.Da gibt es auch keine anderen Ausschüsse, die mit reinquatschen wollen.Und die wird dann quasi vom Liebeausschuss, also Civil Liberties,Justice, Non-Fers, direkt im Plenum getabelt. Und dann ist sie meistens nacheinem Monat schon durch.

Tim Pritlove 0:10:53

Verstehe. Es gibt also sozusagen auch noch kleinere Einheiten von Schlussfassungen.

Ralf Bendrath 0:10:57

Ich entdecke nach 15 Jahren hier immer noch Sachen in der Geschäftsordnung,die ich bisher noch nicht kannte.

Tim Pritlove 0:11:03

Na gut, aber wir wollen uns ja heute nicht so sehr mit der Bürokratie an sich beschäftigen,sondern mal konkret reinschauen, was derzeit denn eigentlich so alles in derPipeline ist, beziehungsweise jetzt gerade beschlossen worden ist oder unmittelbarvor dem Beschluss steht, unter anderem den AI-Act.Aber du, Ralf, hast ja noch ein paar andere Themen auch noch,die du mitgebracht hast.

Ralf Bendrath 0:11:25

Ja, das ist so ein bisschen eine Digitalwoche hier im Plenum gerade.Deswegen ist Annika ja auch gerade in Straßburg, weil gerade Plenarsitzung desEuropäischen Parlaments in Straßburg ist.Und zwei, was heißt kleinere, die nicht so viel Aufsehen erregt haben,Sachen sind mir hier noch aufgefallen.Das ist einmal die Produkthaftungsrichtlinie, die revidiert wurde und der Cyber Resilience Act.Und die führen beide Sachen ein, für die wir damals mit Jan-Philipp Albrechtnoch und so schon seit teilweise zehn Jahren gekämpft haben.Wo man also auch mal schön sehen kann, Politik ist manchmal echt das langsame Bohren dicker Bretter.Als wir damals angefangen haben, mit Jan-Philipp Albrecht uns um Produktsicherheit,also Quatsch, IT-Sicherheit mal zu kümmern, kam man ziemlich schnell drauf,auch natürlich durch Gespräche mit Linus und anderen vom CCC und so.Es gibt keine guten Anreizstrukturen bisher für die Hersteller,sich ernsthaft um IT-Sicherheit zu kümmern.Es gibt keine Produkthaftung für Software, es gibt keine Verpflichtung,Sicherheitsupdates zu liefern oder irgendwas.Software kommt immer mit dieser allgemeinen Terms of Service zum Anklicken,ich akzeptiere die Software so, wie sie ist.Und keiner ist verantwortlich. Das hat sich jetzt geändert, nach diesen zehnJahren oder wie lange da andere Leute schon drüber nachgedacht haben.Und das eine ist die Product Liability Directive, die Produkthaftungsrichtlinie,die gibt es schon ewig, die ist dieses Jahr 39 geworden,wurde 1999 mal kurz ein bisschen gänzt, um landwirtschaftliche und Fischereiprodukte mit abzudecken.Und sie sagt im Prinzip, wenn du ein schadhaftes Produkt verkaufst und Leutenehmen deswegen Schaden daran, das kann auch mentalen Schaden beinhalten,dann bist du verantwortlich undmusst dafür haften und im Zweifelsfall Schadensersatz und sowas zahlen.Und jetzt mit der neuen Revision, die gerade gestern angenommen wurde,ist endlich auch Produkthaftung für Software mit dabei.Das heißt, wenn du eine schadhafte Software in den Markt bringst,kommerziell, das ist immer nur kommerziell, dann bist du haftbar.Das heißt, damit hast du natürlich jetzt als Hersteller einen starken Anreiz,dich mal ernsthaft um IT-Sicherheit zu kümmern.Was wichtig ist, da gab es auch zwischendurch immer wieder mal Fragen aus der Community, die,Wenn du ein freier Softwareentwickler bist, der nur zu Hause so ein bisschenvor sich hin frickelt und das Zeugs irgendwo auf GitHub hochlädt oder so,aber das nicht geschäftlich macht, dann bist du nicht in der Verantwortung.Wenn jemand jetzt dein freies Softwaremodul nimmt und ein kommerzielles Produkteinbaut, dann ist der dafür verantwortlich und nicht du als Entwickler von demkleinen Open-Source-Software-Tool.Das war also ganz wichtig, das haben wir da auch gewonnen.Was sonst? Ja, ich glaube, das waren so die wesentlichen Elemente.

Thomas Lohninger 0:14:06

Ja, vielleicht bei dem Punkt. Das war auch etwas, das wirklich gerade bei derFree Software Foundation Europe ein riesiges Thema war.Also in der gesamten Community der freien und offenen Software hat man sichda große Sorgen gemacht rund um Cyber Resilience Act.Und es ist gut, wenn da jetzt eine Lösung gefunden wurde, die einfach gemeinwohlorientierte,nicht kommerzielle Produkte ausnimmt. Und ich frage mich dann immer so,wie stabil sind die Definitionen? Ist das wirklich gut abgegrenzt?Und de facto, was du damit natürlich dann auch hast, ist, dass die Person,die daraus ein Geschäft macht, auf einmal natürlich auch alle etwaige Haftungübernimmt und die nicht weitergeben kann an irgendwen.Was, glaube ich ja auch, wenn wir so beim ersten drüber nachdenken,eine brauchbare Lösung ist.Ein anderes Thema, was beim Cyber Resilience Act noch ganz… Thomas.

Ralf Bendrath 0:14:56

Wir waren noch bei der Produkthaftungsrichtlinie. Cyber Resilience Act habeich mir gar nicht vorgestellt. Aber es geht sehr ineinander über.

Thomas Lohninger 0:15:04

All the same.

Tim Pritlove 0:15:05

Also kurze Anmerkung dazu. Also diese Product Liability Directive,die gibt es ja im Prinzip schon.Die ist bloß 40 Jahre alt und seitdem nicht wirklich angefasst worden,wenn ich das richtig sehe.

Ralf Bendrath 0:15:15

Doch, es wurden 1999 landwirtschaftliche und Fischereiprodukte mit reingetan.

Tim Pritlove 0:15:20

Aha.Deine neue Kernkompetenz sozusagen.

Ralf Bendrath 0:15:24

Aber sonst nichts. Und jetzt diegroße Neuerung ist eben, dass jetzt auch digitale Produkte mit drin sind.

Tim Pritlove 0:15:30

Ah, okay. Und was heißt das dann konkret? Also ich meine, wenn ich jetzt sozusagenWindows benutze und dann mentalen Schaden davon trage, was ich durchaus fürwahrscheinlich halte, dann kann ich dann sozusagen Bill Gates anrufen und dermuss mir dann Rente zahlen.

Ralf Bendrath 0:15:43

Naja, wenn dann die entsprechenden Gerichte, wo das wahrscheinlich landen wird,entscheiden, dass das Produkt schadhaft war und du deswegen einen mentalen Schadendavon getragen hast, dann ja.

Tim Pritlove 0:15:51

Verstehe.

Ralf Bendrath 0:15:52

Halte ich aber den Fall eher für unwahrscheinlich. Es gibt sozusagen kaputteSoftware, die einfach Sicherheitslücken und ähnliches hat.

Tim Pritlove 0:15:59

Ja, und das heißt, hat das den Status einer Verordnung? Gilt das sozusagen unmittelbar dann?

Ralf Bendrath 0:16:05

Das ist eine Richtlinie, die muss durch nationales Recht umgesetzt werden.

Tim Pritlove 0:16:08

Okay, und das heißt, das kann auch noch ein bisschen dauern, sozusagen.

Ralf Bendrath 0:16:12

Ja, da fragst du mal die FDP, wie lange die wieder auf die Bremse treten will.Das ist ja hier inzwischen ein Running Gag, hätte, hätte Lieferkette.

Tim Pritlove 0:16:21

Ja, genau. Okay, gut, aber nehmen wir jetzt mal an, es sei im Sinne des Gesetzesin eine Richtlinie überführt worden bereits.Kannst du mal so einen typischen Fall aufmachen, den ihr sozusagen bei dem Designim Sinn hattet und wie sich das dann äußern könnte konkret?

Ralf Bendrath 0:16:40

Annika, hast du da mehr mit zu tun gehabt? Weil das ja euer Ausschuss war.

Arnika Zinke 0:16:43

Es war mein Ausschuss, aber es war mein Kollege, der daran gearbeitet hat.Aber es ist zum Beispiel jetzt nicht KI, nur um das ganz kurz zu sagen,weil für KI war eigentlich ein Schwestergesetz vorgesehen, nämlich die KI-Haftungsrichtlinie.Die steckt aber momentan im Justizausschuss fest, da ist der Berichterstatter Axel Voss.Also da gab es etwas Ungereimtheiten, was die Ausrichtung des Gesetzes betrifft.Aber ja, ich habe nicht in der plattbaren Produkthaftungsrichtlinie gearbeitet.

Ralf Bendrath 0:17:10

Ja, ich habe die jetzt auch nicht im Detail verfolgt. Ich habe vor allem dasBriefing von unserem Kollegen dazu gelesen.Also auch nicht den ganzen Gesetzestext. Aber so ein Beispiel,was ich mir jetzt da vorstellen würde, ist, wenn du dir einen Smart Thermostatkaufst für deine Heizung.

Tim Pritlove 0:17:25

Ja, habe ich gerade gemacht. Sehr gut. Viel Spaß.

Ralf Bendrath 0:17:29

Wer klemmt denn bitte sein Haus ans Internet?

Tim Pritlove 0:17:31

Dann mit dem Internet hat das einfach nichts zu tun.

Ralf Bendrath 0:17:34

Ach so, okay. Aber wenn das Ding sozusagen Internet-Konnektivität hat und sichda jemand reinhackt und irgendwie deine Heizung so hoch dreht,dass der Boiler kaputt geht oder sowas, dann wäre der Thermostat-Hersteller dafür haftbar.

Tim Pritlove 0:17:46

Wow.

Ralf Bendrath 0:17:47

Wenn sozusagen dem nachzuweisen ist, dass er hier ein schadhaftes Produkt auf den Markt gebracht hat.

Tim Pritlove 0:17:52

Aber mit dem Nachweis, das könnte natürlich dann nochmal so ein Ding werden.Das muss sich dann erst mal noch zeigen vor den Gerichten, was für Nachweisedort erbracht werden müssen.Oder gibt es dafür auch dann schon eine Maßgabe, wie das zu erfolgen hat?

Arnika Zinke 0:18:04

Es gibt bei bestimmten Fällen eine Umkehrung von der Beweislast.Die bestimmten Fälle müsste ich aber nachschauen. Aber es gibt Fälle,wo es für den Konsumenten sehr schwierig nachzuweisen ist, wo das umgekehrtwird und auch in Fällen, wo es eben besonders schwer der Schaden wäre.

Tim Pritlove 0:18:21

All right, gut. Dann können wir ja auf den Cyber Resilience Act kommen,Ralf. Was hat es denn damit auf sich?

Ralf Bendrath 0:18:28

Genau, das ist ein neues Gesetz. Das ist eine Verordnung, gilt also unmittelbar,nachdem sie jetzt veröffentlicht wird und dann in Kraft tritt.Und da geht es sozusagen nochmal härter wirklich in die Pflicht für Anbietervon elektronischen Endgeräten. Das kann auch Software beinhalten oder andere digitale Devices.Das ist so ein bisschen ähnlich aufgehängt wie das KI-Gesetz,der AI-Act im Rahmen dieses sogenannten New Legislative Framework,wo noch so ein ganzer Rattenschwarz von Marktaufsichtsbehörden dranhängt undso und am Ende das CE-Label rauskommt, was man so kennt als Label für Produktsicherheit in Europa. Ja.Die Hersteller von solchen Produkten,also das ist eine relativ allgemein gehaltene Regelung, Artikel 13,Obligations of Manufacturers, also Auflagen für Hersteller, die müssen sichan die essentiellen, ich weiß immer nicht, was du auf Deutsch hast,wir machen alles auf Englisch hier, Essential Requirements,essentielle Anforderungen, danke, in Annex 1 halten.Und Teil 1 von Antrag 1 ist über Cyber Security.Und da steht dann ganz klar drin, Produkte mit digitalen Elementen sollen designt,entwickelt und hergestellt werden, sodass sie ein angemessenes Level von Cybersicherheitbasierend der jeweiligen Risiken liefern.Und sie sollen zum Beispiel auf den Markt gebracht werden ohne bekannte Sicherheitslücken.Also versteckte Backdoors, die der Hersteller kennt, aber nicht angibt beimVerkauf, sind jetzt damit verboten offiziell.Sie müssen bei Default einer sicheren Konfiguration ausgeliefert werden.Sie müssen Sicherheitsupdates kriegen können. Sie müssen vor ungesichertem Zugriffgeschützt sein und wenn es einen Zugriff geben sollte, müssen Sie es berichten.Und jetzt steht sogar noch drin, Sie müssen die Vertraulichkeit von gespeicherteroder übertragener Daten,egal ob persönliche Daten oder andere, sicherstellen, unter anderem durch Verschlüsselung,Speicher und auch Transit. Ja.Und die Sicherheitsupdates müssen mindestens für fünf Jahre bereitgestellt werden.Außer das Produkt hat absehbar eine deutlich geringere Lebenszeit,dann reicht es auch kürzer.Aber mindestens sind erstmal normalerweise fünf Jahre müssen verpflichtendeSicherheitsupdates geliefert werden.

Tim Pritlove 0:20:56

Fünf Jahre ab was? Ab was gerechnet?

Ralf Bendrath 0:20:59

Ab Verkauf. Ab Verkauf. Verstehe ich zumindest so.

Thomas Lohninger 0:21:02

Also das ist wirklich so wie ein Mindesthaltbarkeitsdatum, nur diesmal wirklichfür Sicherheitsupdates. Genau.

Ralf Bendrath 0:21:07

Und die sagen auch ganz deutlich da, ich glaube in einem Erwägungsgrund,ich finde den Teil gerade jetzt nicht mehr sofort,wenn klar ist, dass das Gerät eine längere Lebenszeit hat, zum Beispiel Routeroder andere Sachen, die normalerweise länger laufen als fünf Jahre,dann müssen die Sicherheitsupdates auch jetzt für die erwartbare Lebenszeit geliefert werden.Was da jetzt noch nicht drin ist, das hatten wir mit Linus damals mal diskutiertbei einer Anhörung unserer Fraktion zur IoT-Sicherheit, kurz nach dem WannaCry-Unglück.Was passiert, wenn diese Lebenszeit erreicht ist, End of Life,und die keine Sicherheitsupdates mehr liefern? Wann müssen sie dann sozusagendem Nutzer es ermöglichen, das Produkt selber up-to-date, wenn zum Beispieldie Software unter freie Lizenzen gestellt werden muss oder so. Das ist hier noch offen.Das ist nicht geklärt. Du hast einfach nur jetzt mindestens fünf Jahre die Updates.Wenn das Produkt absehbar länger hält, dann auch noch länger.Ja, und danach kannst du es dann wegschmeißen oder auf eigenes Risiko weiter benutzen.Aber das ist wirklich ein ziemlicher Durchbruch, finde ich. Das muss man echt mal anerkennen.

Tim Pritlove 0:22:06

Das würde ich auch meinen.

Arnika Zinke 0:22:08

Es war tatsächlich ein Änderungsantrag im Binnenmarktausschuss,das unter einer freien Lizenz zu veröffentlichen, wenn es nicht mehr am Marktist. Leider hat es keine Mehrheit bekommen.

Thomas Lohninger 0:22:19

Ja, solche Sachen werden nie verstanden. Aber jetzt mal praktisch gefragt,wenn du sagst Mindeststandards bei IT-Sicherheit, so peinliche Dinge wie ungehäschtePasswörter, das dürfte es dann nicht mehr geben, oder?

Ralf Bendrath 0:22:32

Nee. Nee.

Thomas Lohninger 0:22:34

Und etwas, an das ich mich auch noch erinnere, wir haben am Anfang an dem Gesetz gearbeitet,da gab es ja auch diese Meldung von Sicherheitslücken, wenn ein Hersteller jetzt etwas findet,eine Lücke in der eigenen Software oder in den eigenen Geräten,dass diese Lücken dann auch an staatlichen Stellen unmittelbar gemeldet werdenmüssen, auch noch bevor die Sicherheitslücke behoben wurde.Wo es dann ja auch die Sorge gab, dass dieses Wissen um etwaige Einfallstoredann von staatlichen Stellen vielleicht sogar auch missbraucht würde für zumBeispiel Staatstreuer.

Ralf Bendrath 0:23:11

Ja, ich habe den Text jetzt nicht vor mir, aber wie ich den Briefing vom KollegenChristian entnehme, gibt es jetzt anscheinend eine neue Stelle bei der EU-IT-SicherheitsagenturEnisa, die genau diese Sicherheitslücken bekommen soll.

Thomas Lohninger 0:23:26

Ja, das war nämlich wirklich ein bisschen problematisch, weil damit natürlich,wenn du konkret den Weg, wie deine Software aufgemacht werden kann,sofort melden musst, noch bevor du es geschlossen hast.Also das widerstößt dann ein bisschen gegen, Sponsor-Predisclosure ist das jetztnicht, aber es öffnet gewisse Gefahren.

Ralf Bendrath 0:23:42

Okay, ob man die bevor man es gepatcht hat schon melden muss,weiß ich jetzt nicht. Das müsste man im Detail nochmal nachgucken.Das habe ich jetzt nicht vor mir.

Thomas Lohninger 0:23:48

Das war zumindest früher mal ein Problem. Ab wann gelten denn diese Gesetze?

Ralf Bendrath 0:23:52

Der Cyber Resilience Act, wie gesagt, ist eine Verordnung, die gilt unmittelbar.Die ist jetzt quasi heute, gestern angenommen worden im Plenum.Das muss jetzt der Rat formal noch annehmen, weil wir noch im ersten Lesungsverfahren sind.Dann wird es im Amtsblatt der EU veröffentlicht. Und dann weiß ich nicht,ob es irgendwelche Übergangsfristen gibt oder ob das dann sofort gilt.Steht jetzt hier nicht im Briefing drin.

Arnika Zinke 0:24:13

Also meines Wissens nach gibt es relativ lange Übergangsfristen.Also zumindest nachdem es aus dem Parlament kam, haben wir sehr große Problemegehabt, die Fristen nicht allzu lange zu haben.

Tim Pritlove 0:24:27

Also ein paar Jahre, oder was muss man sich da jetzt vorstellen?

Arnika Zinke 0:24:29

Ja, genau, ein paar Jahre.

Tim Pritlove 0:24:31

Okay, das tropft also so langsam rein.

Ralf Bendrath 0:24:33

Okay, ich sehe gerade Artikel 14, Reporting Obligations of Manufacturers.Da geht es offenbar nur um Verwundbarkeiten, die aktuell aktiv ausgenutzt werden.Wenn also gerade irgendwie Angriffe laufen, dass dann die nationalen C-Cert-Koordinatorenund Enisa benachrichtigt werden sollen, damit die Schritte ergreifen können.Wenn gerade ein Angriff läuft, macht das ja auch Sinn.Aber darüber hinaus sehe ich jetzt keine Verpflichtungen.

Tim Pritlove 0:25:01

Zumindest gibt es jetzt erstmal nicht mehr das Admin-Admin-Standardpasswortbei irgendwelchen Routern.Das ist schon mal wichtig, dass mal überhaupt so eine Linie da gezogen wird mit so Leuten.Also wenn ihr hier irgendwie mitspielen wollt, dann ist einfach mal ein gewissesMinimum jetzt auch definiert und nicht nur so der Markt macht das schon.Und ich denke, das ist dann doch schon ein wichtiger Schritt nach vorne.

Thomas Lohninger 0:25:28

Ja, und vor allem auch, Ralf hat ja schon die Analogie mit dem CE-Label genannt.Genauso wie man sich darauf verlassen muss, dass ein Gerät, das an Strom hängt,nicht zum Rauchen anfängt und explodiert, es hat auch bei der Netzwerkverbindungein gewisses Mindestmaß an Sorgfalt einfach geboten.Also ob dieses Gesetz wirklich in allem perfekt ist, wird man sehen,aber die Richtung ist da schon die richtige, glaube ich.

Ralf Bendrath 0:25:52

Und hier gab es natürlich auch wieder die Frage, was ist mit Open Source?Der gleiche Ansatz wieder bei der Produkthaftungsrichtlinie.Wenn man Software nicht kommerziell auf den Markt bringt, ist man raus.Also der kleine Open-Source-Entwickler, der irgendwelche Tools baut,die dann andere kommerzielle Hersteller nehmen, der ist raus und die kommerziellenHersteller sind in der Pflicht.Und die müssen dann sozusagen auch für die Sicherheitsupdates sorgen,nicht der kleine Bastler in der Kellerwerkstatt oder so.

Tim Pritlove 0:26:18

Aber was definiert denn dann kommerziell? Also es gibt ja auch oft so Leute,die Open Source machen und dann quasi selber kommerziell sind,weil sie dann Beratungen dafür machen.Damit wären sie ja sozusagen im kommerziellen Spiel.

Thomas Lohninger 0:26:34

Oder um Spenden bitten für ihre Software.

Tim Pritlove 0:26:38

Graubereich.

Ralf Bendrath 0:26:38

Puh, das weiß ich nicht. Annika, das ist wahrscheinlich in deinem Ausschussschon besser ausdiskutiert. Das wüsste ich jetzt nicht. Gibt es bestimmt irgendwoschon Standarddefinitionen?

Arnika Zinke 0:26:47

Es gab dazu lange, ich weiß, es gab dazu sehr lange Diskussionen,gab auch beim Cyber Veselians Act und auch gerade was Spenden betrifft,vor allem Spenden, die immer wieder über einen längeren Zeitraum passieren,auch von größeren Entitäten.Ich weiß jetzt aber auch nicht, was genau das Endresultat war,weil wir natürlich, wenn es noch im Parlament ist, relativ viel eingebunden sind.Aber wenn das dann final in den Trilog geht, vor allem war das auch zu einerZeit, wo das KI-Gesetz gerade im Trilog war, Da sind wir dann auch als nichtfederführende Ausschüsse ein bisschen raus.Aber an sich wurde sich jetzt auf eine Definition geeinigt, mit der meines Wissensdie Open-Source-Community recht zufrieden ist und die jetzt eigentlich auchin den meisten neuen Digitalgesetzen verwendet worden ist, wo relativ klar ist,was ist wirklich auf den Markt bringen und was ist, wenn man es nur eben zumBeispiel bei GitHub hochlädt.

Ralf Bendrath 0:27:38

Ich habe hier gerade herausgefunden, Erwägungsgrund 15, da steht was drin,die, ich muss jetzt sozusagen live vom Englischen ins Deutsche übersetzen,die Lieferung im Kurs einer kommerziellen Aktivität kann charakterisiert werden,nicht nur indem ein Preis für ein Produkt mit digitalen Elementen verlangt wird, sondern auch,wenn man einen Preis verlangt für technische Unterstützungsdienste.

Tim Pritlove 0:28:05

Das würde das dann mit einschließen.

Ralf Bendrath 0:28:07

Well, this does not serve only the recuperation of actual costs.

Thomas Lohninger 0:28:13

In einer der letzten Folgen haben wir Gesetze durch JGPT analysieren lassen.Diesmal lassen wir sie durch die Verhandler selbst interpretieren. Ein Fortschritt.Aber das ist auch passend irgendwie zu dem nächsten Gesetz, das wir noch kurzansprechen wollten, Ralf.Das ist auch etwas, was du uns mitgebracht hast. Das hat ja fast schon irgendwieden guten Nachrichtsjingel verdient.

Ralf Bendrath 0:28:36

Die Plattform-Workers, ne?

Thomas Lohninger 0:28:38

Ja, genau.

Ralf Bendrath 0:28:39

Genau. Es gibt jetzt auch seit dieser Woche eine Plattform, die wurde nichtim Plenum abgestimmt, sondern die war schon im Februar ausverhandelt und warbisher aber im Rat blockiert.Und gerade jetzt vorgestern am Montag hat wieder der Ministerrat für Beschäftigung,Soziales, Gesundheit und Verbraucherschutz getagt.Und da gab es bisher eine Sperrminorität, bestehend aus Estland,Griechenland, Frankreich und Deutschland, mal wieder die FDP.Und Estland und Griechenland haben jetzt sich von der Enthaltung zu einem Vote,zu einer Abstimmung dafür durchgerungen.Deswegen gab es jetzt nur noch mit Frankreich und Deutschland alleine keine Sperrminorität mehr.Und deswegen kommt jetzt die Platform Workers Directive,die erstmals sozusagen die Arbeitsbedingungen regelt für Leute,die über Plattformen, was weiß ich, wie Uber Eats oder Deliveroo oder sowasarbeiten, aber auch zum Beispiel Mechanical Turk von Amazon oder so Zeug.Weil da bisher immer noch ganz oft unklar war, sind das Angestellte,sind das Freelancer, welche Rechte haben die gegenüber dem Quote-unquote Arbeitgeber und so.Und diese Plattform Worker's Direct, soweit ich es verstanden habe,wie gesagt, das war Beschäftigungsausschuss, ich habe es auch nur von der Seitemitverfolgt, die macht jetzt vor allem zwei Sachen, die...Sagt eben, dass sozusagen erst mal die Annahme gilt, wenn man so ein Plattform-Workerist, ist man Angestellter.Und die Beweislast, dass das nicht der Fall ist, hat der Arbeitgeber sozusagen oder die Plattform.Das heißt, damit gelten dann die ganzen Rechte als Arbeitgeber wie Recht aufbezahlten Urlaub, Recht auf Streik und alles mögliche andere,Krankengeld und so weiter.Und wie gesagt, wenn die Plattform meint, nee, aber in dem Fall ist das dochganz klar nur ein Freelancer, der macht nur ab und zu mal hier was,wenn er Bock drauf hat, dann muss sie das eben nachweisen.Und dann ist sie raus aus den Arbeitgeberverpflichtungen.Und das Zweite ist, dass es jetzt zum ersten Mal Regeln gibt für algorithmischesManagement von Arbeitern oder Arbeitenden.Das heißt, wenn man ernsthafte Entscheidungen trifft über so einen Plattformarbeiteroder eine Arbeiterin, zum Beispiel Beendigung des Vertrages oder so,das darf auf keinen Fall von einem Algorithmus gemacht werden,das muss immer ein Mensch entscheiden.

Tim Pritlove 0:30:49

Gilt denn, also für welche Unternehmen gilt denn das und für welche Mitarbeiter gilt denn das?Also inwiefern ist jetzt die Zugehörigkeit oder der Aufenthalt in Europa daentscheidend oder gilt das dann irgendwie weltweit oder wie ist das gedacht?

Ralf Bendrath 0:31:03

Das gilt immer nur für Europa. Europäische Gesetz gilt nur in Europa.

Tim Pritlove 0:31:07

Klar, aber gilt es auch für einen indischen Plattformarbeiter,für eine Firma, die in Europa ist?

Ralf Bendrath 0:31:16

Gute Frage. Kann ich jetzt so nicht beantworten. Wie gesagt,das habe ich selber nicht verhandelt.

Tim Pritlove 0:31:22

Und gilt es für einen deutschen Mitarbeiter einer indischen Firma zum Beispieloder einer amerikanischen?Also das ist so das, was ich mich frage. Was ist jetzt da sozusagen, wen betrifft das quasi?Und wann ist man dadurch geschützt?Weil so viele Plattformen haben wir ja nicht in Europa.

Ralf Bendrath 0:31:40

Muss ich mal kurz gucken, ob das von der Kollegin hier im Briefing irgendwieabgedeckt ist, sonst wüsste ich es nicht.

Thomas Lohninger 0:31:46

Also es ist ganz oft so bei diesen grenzüberschreitenden Arbeitsverhältnissen,dass es sehr schnell sehr kompliziert wird, auch innerhalb der EU.Da gibt es auch recht komplizierte Regelwerke, so Stichwort Entsenderichtlinie.Aber wovon man auf jeden Fall ausgehen kann,ist, dass die klassischen Essensauslieferer, Leute, die in der Servicebrancheüber Plattformen beschäftigt sind,alles, was eben über die klassischen Apps bezogene Arbeitsleistung ist, mehr oder weniger,hier auf jeden Fall davon enthalten ist.Und die Gewerkschaften jubeln hier auf jeden Fall.Man sollte anmerken, dass schon vor dem Konflikt, den Ralf gerade genannt hat,es hier eine Abschwächung gab zwischen dem, was das Parlament verabschiedet hat.Da hätte es so einheitliche Kriterien gegeben, ab wann du denn jetzt wirklichangenommener fixer Angestellter von dieser Plattform bist. ist.Und diese Kriterien gibt es jetzt aber leider nicht mehr. Nur noch Prinzipien,aber da gibt es dann Umsetzung, Spielraum.Das hier ist ja eine Richtlinie, die muss erst in nationales Recht überführt werden.Und das wird zu einem Fleckerteppich führen, wo einfach in unterschiedlichenLändern unterschiedliche Kriterien gelten.Und das ist für das Land kann das immer noch gut sein, wenn man jetzt hier esschafft, Druck zu machen.Aber es gibt kein europaeinheitliches Niveau, ab wann der Uber-Treiber,der Uber-Fahrer könnte jetzt zum Beispiel in Deutschland Status A haben undin Österreich Status B zum Beispiel.

Ralf Bendrath 0:33:16

Es gibt sogar, habe ich jetzt gelernt, keine einheitliche Definition von wasWork, also Arbeit, eigentlich genau bedeutet, weil das anscheinend EU-weit bishernicht harmonisiert ist und die Mitgliedstaaten wohl darauf bestanden haben,dass Arbeitsrecht und sowas weiterhin nationale Kompetenz ist.

Tim Pritlove 0:33:32

Das könnte die Sache ein bisschen schwierig machen, oder?

Ralf Bendrath 0:33:36

Ja, wie Thomas sagt, das wird einen Flickenteppich geben, aber besser so einFlickenteppich als gar keine Rechte für die Plattformarbeiter, ganz klar.Was ich gerade noch gesehen habe hier im Briefing der Kollegin ist,dass die Plattformen auch jetzt Kommunikationskanäle bereitstellen müssen,damit die Plattformarbeitenden untereinander kommunizieren können,zum Beispiel um Betriebsräte zu gründen oder sowas.

Tim Pritlove 0:33:55

Ah ja. Okay, aber das sind so einfach mal so die typischen Tages,weil das erste Beispiel mit diesem Mechanical Turk, da denkt man ja dann gleichirgendwie Amazon und Ausland und so.

Ralf Bendrath 0:34:05

Aber… Amazon hat eine Niederlassung in Europa.

Tim Pritlove 0:34:07

Ja klar, aber diese Mechanical Turks sind ja sozusagen traditionell sehr weitüber den Planeten verstreut gewesen,aber es ist natürlich klar, dass jetzt vor allem so Lieferdienste,was Thomas schon sagte oder eben sowas wie Uber,davon dann vermutlich auch betroffen sein wird.Nur, dass man es mal zuordnen kann, was davon wirklich dann tangiert ist.Weil Plattform ist ja dann ein dehnbarer Begriff.

Thomas Lohninger 0:34:37

Was mal konkret, ist Onlyfans davon betroffen?

Tim Pritlove 0:34:41

Du hast Sorgen.

Thomas Lohninger 0:34:44

Sag ja nur.

Ralf Bendrath 0:34:46

Vermutlich schon. Ich meine, Sexarbeit ist auch Arbeit.

Tim Pritlove 0:34:50

Ja, stimmt. Sind die da nicht alle selbstständig?

Thomas Lohninger 0:34:56

Was man vielleicht einfach noch vermelden sollte oder dazu sagen ist,dass das auf jeden Fall ein Schritt in die richtige Richtung ist.Und ich glaube auch, dass da die Gewerkschaften schon einen wichtigen Schritt tun,weil gerade freie DienstnehmerInnen oder Selbstständige waren ja oft auch beiden klassischen Arbeitsrechten diejenigen, die durch die Finger geschaut habenund nicht mal repräsentiert wurden.Und denen einfach hier zu einem besseren Status zu verhelfen, ist auf jeden Fall gut.Und Und zuletzt nochmal jetzt dadurch, dass das auf diese Art jetzt irgendwiedurchgegangen ist, es zeigt auch irgendwie schön, dass die Achse Deutschland-Frankreichalleine dann doch nicht verhindern kann.Und dass sich alle anderen Staaten hier schon darauf einigen konnten.Also da kann man den Liberalen wahrscheinlich danken, die in Deutschland die.Zustimmung verhindern und in Frankreich ja an der Regierung sind.

Ralf Bendrath 0:35:48

Ja, aber das kann man vielleicht nochmal kurz ein bisschen vertiefen,Weil das ist echt ein Problem inzwischen mit diesem sogenannten German Vote,was in Brüssel hier inzwischen alle kennen.Und das ist einfach ein Fehler im Koalitionsvertrag in Berlin.Das gibt es ja oft auch in Landesregierungen oder Landeskoalitionsverträgen,dass da drin steht, wenn die Regierungsparteien sich nicht einigen können aufirgendeine Sache, enthalten sie sich im Bundesrat.So, im Bundesrat reicht aber normalerweise eine einfache Mehrheit,um ein Gesetz zu beschließen.Rat der Minister der Europäischen Union brauchst du eine qualifizierte Mehrheit.Da brauchst du irgendwie 72 Prozent der Mitgliedstaaten und die 65 Prozent dereuropäischen Bevölkerung repräsentieren. Ich glaube, so in der Größenordnung.Und das heißt aber dann, eine Enthaltung ist dann genauso scheiße wie ein Dagegenstimmen,weil einfach diese qualifizierte Mehrheit nicht zustande kommt.Das heißt also, wenn die FDP als kleinster 4-Prozent-Koalitionspartner in Berlinsagt, wir sind dagegen, dann muss die Regierung sich enthalten,laut Koalitionsvertrag, und arbeite dann aber aktiv gegen so ein Gesetz undenthält sich nicht nur einfach so, ne?

Tim Pritlove 0:36:51

Das nennt man German Vote?

Ralf Bendrath 0:36:52

Ja, weil das einfach jetzt in ganz vielen Gesetzen passiert,dass die Deutschen sich enthalten und damit dazu beitragen, dass vielleichteine qualifizierte Mehrheit nicht zustande kommt, weil die FDP dagegen ist.Hätte, hätte, Lieferkette.

Tim Pritlove 0:37:04

Und das ist sozusagen ein Konstruktionsfehler im Koalitionsvertrag,dass man es für Europa nicht anders geregelt hat.

Ralf Bendrath 0:37:10

Genau. Und das ist auch ein Konstruktionsfehler im Bundeskanzleramt, würde ich mal sagen.Also unter Merkel wäre das nicht so durchgegangen, weil das einfach massiv diedeutsche Rolle auch in der Europäischen Union untergräbt.Also Deutschland, auch bis zu Merkel und so, war immer eigentlich dafür bekannt,dass man versucht hat, einen Ausgleich zu finden zwischen den Mitgliedstaaten,dass man nicht so selber mit dicken, ausgefahrenen Ellenbogen in den Verhandlungenreingegangen ist und einfach versucht hat, den Laden zusammenzuhalten.Idealerweise gemeinsam mit Frankreich. Und wenn jetzt dank der FDP die Deutschenda immer so rumpoltern müssen und immer sagen,wir sind aber dagegen de facto und im Zweifelsfall so ein Gesetz blockieren,weil dann kommen natürlich viele kleinere Mitgliedstaaten auch oder auch Frankreichdann, die sich hinter Deutschland dann verstecken.Und das ist einfach echt ziemlich bitter.Und wie gesagt, in Brüssel schon bekannt als The German Vote.

Tim Pritlove 0:37:57

Annika, du hast da noch was zu sagen?

Arnika Zinke 0:37:59

Nein, ich wollte nur sagen, dass genau wie Ralf das angesprochen hatte,wenn natürlich Deutschland und Frankreich beide sagen, sie sind dagegen odereiner enthält sich, der andere ist dagegen, dann kreiert das einen Effekt auchbei den anderen Mitgliedstaaten.Das heißt, die überlegen sich dann schon, vielleicht sollten wir doch dagegenstimmen oder schauen wir uns das nochmal genauer an, warum denn die zwei Großen da dagegen stimmen.Und wir hatten das Problem auch in dem KI-Gesetz letztlich, dass wegen Deutschlandund wegen der FDP das Gesetz und die Abstimmung im Rat auf der Kippe gestanden sind.

Ralf Bendrath 0:38:29

Wegen Deutschland und Frankreich.

Thomas Lohninger 0:38:33

Ja, zitiere ich dann nochmal den griechischen Arbeitsminister von den Konservativen.Da wir im Geist von Kompromiss und europäischer Einheit arbeiten wollen,werden wir die Richtlinie unterstützen. Sehr schön.Und ja, das obliegt dann wirklich den Regierungen oder eben den Koalitionsabkommen,wie das genau gehandhabt wird. In Österreich ist es zum Beispiel in der aktuellenRegierung so, dass man sich da bewusst nicht abstimmt.Also hat man auch wegen Klimaschutz gemacht, dass da sozusagen die grüne Klimaministerinsich austoben kann, ohne dass hier irgendjemand reinredet, was die Ratspositionen betrifft.Ist dann aber zum Beispiel bei Überwachungsthemen unter Umständen sehr negativ,wenn du keinen Ausgleich hast und das dann der konservative Innenminister selberalles entscheiden kann. Aber ja, das ist Europa.

Ralf Bendrath 0:39:22

In Deutschland ist es so, die SPD-Innenministerin entscheidet das Asylpaketmit und die Grünen schlucken es.Naja, anderes Thema.

Tim Pritlove 0:39:33

Okay, aber soviel jetzt zur Platform Workers Directive. Jetzt gibt es demnächstPorno-Betriebsräte, das ist doch super.So, ein weiteres Thema noch vor dem AI-Act hast du noch für uns,nämlich die Health-Plattform, nein, wie heißt es, Entschuldigung.

Thomas Lohninger 0:39:52

European Health Data Space.

Tim Pritlove 0:39:54

Der European Health Data Space, korrekt.

Thomas Lohninger 0:39:57

Genau, das hast du verhandelt. Also, worum geht es dabei? Ich glaube,das hatten wir in Ansätzen, aber give us the primal.

Ralf Bendrath 0:40:03

Ja, das ist auch wieder ein Gesetzesvorschlag,der in zwei Ausschüssen gleichberechtigt verhandelt wird.In meinem Ausschuss Liebe, also Civil Liberties, Justice and Home Affairs,wegen der Datenschutzkomponente und Gesundheit- und Umweltausschuss wegen Gesundheit, Gesundheitsdaten.Und das ist kurz vorm Abschluss. Morgen Nacht soll der letzte Trilog,also die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission stattfinden.Das Ding hat im Prinzip zwei Elemente. Ist natürlich viel komplizierter,aber hat im Prinzip zwei Elemente. Das eine ist Regeln für primäre Nutzung vonGesundheitsdaten und das andere ist für sekundäre Nutzung.Primäre Nutzung heißt, wenn mein Arzt meine Patientenakte Akte irgendwie lokalauf dem Rechner schon elektronisch vorhält,dann soll er oder sie die in der Regel auch vernetzt bereitstellen,damit wenn ich dann zu einem anderen Arzt gehe oder zu einer anderen Ärztinoder ins Krankenhaus oder so, die auch Zugriff auf die gesamte Akte haben unddas eben besser nutzen können, um mich besser zu behandeln, weil die dann auchVorerkrankungen und vorherige Behandlungen und sowas direkt sehen können.Macht irgendwie Sinn, das gibt es hier zum Beispiel in Belgien auch.Da Da sind viele Leute auch ganz glücklich drüber. Da kann man auch selber mitder App auf dem Smartphone irgendwiegucken, was ist eigentlich gerade in meiner Patientenakte so los?Dann kann ich die Sachen auch selber mal rauspulen und angucken und so.Da war lange der Streit, braucht es dazu ein Opt-in? Also müssen die Leute einwilligen,damit es elektronisch vernetzt verfügbar gemacht wird?Oder ist es generell bei Default so und man soll vielleicht nur widersprechen können?In Deutschland ist, glaube ich, aktuell der Stand, dass es immer noch ein Opt-inist, aber das soll jetzt umgestellt werden auf Opt-out unter lauter Wacht,damit mehr Leute die elektronische Patientenakte nutzen.Und das Gesundheitswesen sozusagen effektiver ist. Das Ergebnis hier ist imPrinzip das gleiche. Es bleibt erstmal so vorgesehen, dass es per Default ineine vernetzte elektronische Gesundheitsakte kommt.Die Mitgliedstaaten können dann selber aber noch entscheiden,ob sie ein Opt-out ermöglichen wollen oder nicht.So, das ist eigentlich noch relativ unproblematisch. Da gab es dann so ein bisschenMissverständnisse in den Verhandlungen, weil die Leute, die Belgier hier vonder Ratspräsidentschaft, haben erst gedacht, wenn man da widerspricht,heißt das, dass der Arzt gar nicht mehr meine Akten elektronisch führen kann,sondern wieder auf Papier zurück muss.Das war natürlich dann so, nee, Quatsch. Natürlich kann der Arzt seinen lokalenRechner haben. Wir sind 2024 heutzutage.Nur die sollen nicht vernetzt sein.Wenn man als Patient vielleicht besondere Sicherheitsbedürfnisse hat,weil man auch mal eine psychologische Behandlung hatte oder andere Sachen odereine Abtreibung oder so, will man einfach, dass das nur beim Arzt in der Praxisliegt und nicht vernetzt ist.Nicht irgendwie vielleicht auch sogar Angreifer da rangehen können oder so mitIT-Sicherheitslücken. Obwohl, die sind ja jetzt alle weg mit dem Cyber-Resilienz-Experiment.

Tim Pritlove 0:42:48

Gott sei Dank.

Ralf Bendrath 0:42:49

So, das ist das erste, primäre Nutzung.Das zweite ist die sekundäre Nutzung und das ist für uns das Riesenproblem,weil es gibt eigentlich jetzt seit über 2400 Jahren den hypokratischen Eid,den Ärzte ablegen müssen und der beinhaltet unter anderem die ärztliche Schweigepflichtoder das Patientengeheimnis.Dass einfach das, was ich mit meinem Arzt bespreche, zwischen uns bleibt undich darauf vertrauen kann.Was jetzt hier vorgesehen ist, ist, dass die Gesundheitsdaten,sofern sie vernetzt verfügbar sind, auch für andere Zwecke genutzt werden können.Das geht dann vor allem um Forschung. Natürlich Big Pharma hat da auch ein Rieseninteressedran, aber auch öffentliches Gesundheitsmanagement, zum Beispiel in Zeiten vonPandemien, Infektionstracing, solche Geschichten, was ja teilweise die Gesundheitsämterauch heute schon machen.Es gibt ja Sachen, wo die ärztliche Schweigepflicht unterbunden wird durch Gesetz,bei meldepflichtigen Krankheiten und so, wie es zum Beispiel Corona auch war.Und da war jetzt aber die Riesenfrage bis zum Schluss oder ist immer noch,das Parlament wollte hier aber dann mindestens sagen, dann sollen die Leuteaber zumindest ein Widerspruchsrecht haben.Dass ich sagen kann, meine Patientendaten sollen bitte für Forschung oder sonicht bereitgestellt werden.Die Mitgliedstaaten haben jetzt, die belgische Ratspräsidentschaft hat wirklichversucht, das irgendwie zu berücksichtigen.Das war für das Parlament sozusagen die eine große rote Linie die ganze Zeit.Wir haben ganz viele andere kleinere Sachen aufgegeben, um dieses Opt-out zukriegen für sekundäre Nutzung.Aber die Mitgliedstaaten stellen sich jetzt auf stur und sagen,nö, wir wollen einfach alle Daten und man kann gerne ein Opt-out machen,aber dann gibt es für die Mitgliedstaaten dann das Recht, wieder das Opt-out zu überschreiben.Also das gilt dann einfach nicht. Und das sind dann auch für Zwecke,wo ich mich frage, braucht es dazu wirklich immer alle Daten?Unter anderem für öffentliche Institutionen, die ein Mandat im Bereich der öffentlichenGesundheit haben oder sogar private Institutionen, die eine Aufgabe im Bereichder öffentlichen Gesundheit haben.Gut, da könnte man vielleicht noch drüber streiten, ob man das ein bisschenenger fasst und dann ist es vielleicht noch akzeptabel.Der Parlamentsvorschlag war jetzt, dass man das nur in Situationen von öffentlichermedizinischer Notlage oder Notlage der öffentlichen Gesundheit machen kann.So eine ähnliche Regelung haben wir schon im Data Act zum Beispiel.Dann wollen sie aber auch noch alle möglichen Research, medizinische Produktentwicklungmedizinische Geräteentwicklung also die haben sie bisher auch so entwickelnkönnen ohne dass man von allen Patienten die Daten abgegriffen hat und das letzte ist auch Statistiken.Nationale, multinationale und EU-Level offizielle Statistiken ich meine Statistikerkönnen seit über 100 Jahren mit unvollständigen Datensätzen umgehen,das ist deren Job da dann irgendwie die Bias so rauszurechnen,Ja, so sieht es aus. Das ist das letzte Angebot, was die Kommission jetzt aufden Tisch vorgelegt hat als Quote-Unquote-Kompromiss.Das geht morgen Abend in den letzten Trilog. Heute war nochmal ein Treffen derSchattenberichterstatter vom Parlament von den verschiedenen Fraktionen.Und es sieht so aus, dass die Mehrheit, zumindest eine Mehrheit aus EVP,EKR, also die europakritischeren Konservativen und Sozialdemokraten,das so akzeptieren will.Und im Prinzip alles aufgibt, was wir die ganze Zeit gesagt haben.Hier, wir geben euch die ganzen anderen Sachen nur, wenn wir dieses eine Opt-outkriegen, aber dann auch richtig.Und am Ende werden wohl nur die Grünen und die Linken dagegen stimmen.ID ist noch ein bisschen unklar. Die würden normalerweise als gute Populistenauch irgendwie auf den Zug aufspringen und sagen, da sind wir dagegen.Wir verkaufen nicht unsere Gesundheitsdaten an Big Pharma.Aber die haben zufälligerweise die Berichterstatterin, Liebe Ausschuss,weil das sonst niemand wollte.Und das ist per Dehont bei denen gelandet. Und da sehe ich jetzt nicht,dass die da großen Rückzieher macht, wenn sie selber Co-Berichterstatterin ist. ist.Aber verhandelt wurde es im Prinzip alles von dem EVP Berichterstatter im Umwelt-und Gesundheitsausschuss.Ja, das ist das. Morgen Abend geht das den Bach runter.

Thomas Lohninger 0:46:49

Ja, noch nicht. Also gibt man einen Brief, aber ich wiederhole jetzt nochmal oder fasse zusammen.Also wir haben ein EU-Gesetz, das die Digitalisierung von allen Patientinnenaktenund wahrscheinlich auch sonstigen.Gesundheitsbezogenen Daten aus dem in Krankenhäusern, Arztpraxen und sonstigenEinrichtungen miteinander vernetzt.Opt-out oder Opt-in kann es geben, wenn der Mitgliedstaat das vorsieht für diese Primärnutzung.Aber bei der Sekundärnutzung, die eigentlich ja die kritischere ist,weil da geht es nicht nur um das Gesundheitssystem, sondern da geht es um Forschung.Und das heißt auch pharmakologische Forschung. Das heißt auch,dass hier ganz viele andere Interessenträger auf einmal Zugriff auf sehr sensible Daten bekommen.Wir haben auch schon mehrmals diskutiert, dass solche Gesundheitsdaten sehrschwer bis gar nicht zu anonymisieren sind, weil das ist einfach sehr einzigartig bei Menschen.Wenn ich als Arbeitgeber weiß, wenn du im Krankenstand bist,wenn du geimpft wurdest oder du das auf Social Media postest,finde ich dich wieder in diesen Datensets.Es gibt dazu auch eine Klage meines Wissens von der GFF,die da auch in Deutschland höchstgerichtlich dagegen vorgehen,gegen diese Sekundärnutzung anhand von einem Menschen, der halt sehr einzigartigeBlutwerte oder sonstige Werte hat und da auch sehr leicht zu reidentifizieren ist.Das halte ich für eine ganz große Gefahr. Das ist vielleicht auch nochmal zusagen, das hier ist so eine sogenannte Lex Spezialis zur DSGVO, oder?Das etabliert eine Ausnahme von unserem Grundrecht auf Datenschutz für diesen eigenen Bereich hier.Und ich meine...Also morgen wird das sozusagen, kannst du da vielleicht auch mal aus dem Nähkästchenplaudern, wie läuft denn sowas ab, so eine Trilog-Sitzung, also wie viele Leutesind da im Raum, wie lange wird da verhandelt, was erwartet dich da morgen?

Ralf Bendrath 0:48:47

Morgen könnte es relativ schnell gehen. Also der letzte Trilog letzten Donnerstagabend,der hat um 18 Uhr angefangen, war ungefähr morgens um fünf zu Ende ohne Ergebnis,weil das Parlament da noch die Linie gehalten hat.Und jetzt haben aber alle Fraktionen intern nochmal geguckt,sind wir noch ein bisschen flexibler oder so. Die Mitgliedstaaten dagegen haben nicht geguckt.Es gab heute noch mal Sitzung der Botschafter.Da war das Thema gar nicht auf der Tagesordnung.Also die Belgier haben gar nicht erst versucht, noch mehr Flexibilität für sichselber zu kriegen, sondern haben nur gesagt, hier, liebes Parlament,wenn ihr noch mal flexibler werdet, dann können wir es nächste Woche noch mal versuchen.Weil morgen ist sozusagen die letzte Deadline, um vor der Europawahl noch ein Gesetz abzuschließen.Weil das dann alles noch irgendwie sprachlich aufgeräumt werden und noch abgestimmtwerden muss und so weiter.Also morgen kann es relativ schnell gehen. Da sitzt dann normalerweise der belgischeMinister, Gesundheitsminister, die Berichterstatter vom Parlament,vielleicht noch ein Vorsitzender oder Vize-Vorsitzender vom Umweltausschuss.Der Vorsitzende vom Innenausschuss kommt zu solchen Verhandlungen nie,obwohl das könnte. Das ist aber ganz gut so, weil der ist immer so ein bisschen verwirrt.Der könnte da nur Unsinn reinbringen. Und dann sitzen da halt noch die Kommission,das ist dann wahrscheinlich die Kommissarin,Kiria Kiedis, die Gesundheitskommissarin, und alle Fraktionen,manche mit Abgeordneten richtig vertreten, viele aber, weil jetzt gerade Straßburg-Wochewar und die schon längst ihre Flüge nach Hause gebucht hatten in die ganzenMitgliedstaaten und so, die werden jetzt nicht morgen alle nach Brüssel fahren.Also von uns wird auch keiner dabei sein, weil die alle Verpflichtungen schon woanders hatten.Aber dann sitze halt ich da mit meiner Kollegin aus dem Umwelt- und Gesundheitsausschuss,unserem digitalen Koordinator, der Nachfolger von Arneka an dem Job,Francesco, noch ein paar Abgeordneten, Mitarbeitende.Juristische Dienste sind da immer vertreten, oft auch die Sprachjuristen. Das sind dann so...20 bis 30 Leute vielleicht in so einem Setting. Und reden tun aber eigentlichnur der Rapporteur, also der Berichterstatter,in diesem Fall eigentlich in der Regel der ENVI, also Gesundheits- und Umweltausschuss-Rapporteurvon den Konservativen, der belgische Minister und die Kommissarin. darin.Und dann gibt es manchmal so Punkte, wo man dann sagt, okay,das Parlament muss sich mal kurz zurückziehen,dann gibt es nebenan irgendeinen sogenannten Breakout-Room, wo dann sogar soein Patrick Breyer zum Beispiel, der das für uns auf der Datenschutzseite macht,sich online dazuschalten kann und dann wird halt intern in einer Parlamentsdelegationberaten, okay, Leute, wir haben jetzt hier ein neues Angebot von den Belgiern,können wir das irgendwie mittragen oder ist das immer noch nicht gut genug,können wir einen Gegenvorschlag machen oder so.Und dann müssen halt sozusagen die Fraktionen der Reihe nach sagen,wie weit sie gehen können.Und dann muss der Berichterstatter gucken, wie er damit umgeht,ob er jetzt eine Mehrheit findet für den Kompromiss oder nicht.Manchmal gibt es auch Situationen, wo der Berichterstatter einfach sagt,ich habe jetzt hier keine klare Mehrheit, ich lasse es einfach darauf ankommen.Wir nehmen das Ding jetzt mal so an und gehen damit in die Ausschüsse und dannins Plenum und gucken, ob wir eine Mehrheit kriegen. Das ist aber eher selten.Das kann aber teilweise bei komplexeren Gesetzen, hier sind jetzt noch ein paarFragen offen, unter anderem auch die Frage der Lokalisierung,weil das EP die Daten in Europa speichern wollte und nicht irgendwo auswärts.Und der Rat sagt aber, nee, nach DSPVO kann man die doch auch in den USA transferieren,weil da gibt es ja eine Angemessenheitsentscheidung und so. Also das sind abernur vier, fünf Punkte, die noch offen sind.Die kann man morgen relativ schnell abkaspern, weil eigentlich fast alle außeruns und den Linken schon angedeutet haben heute Morgen, dass sie da mitgehen können.Es gibt auch andere Beispiele. Da können wir vielleicht gleich zum AI-Act nochwas zu erzählen, weil da haben wir, glaube ich, den bisher längsten Trilog gehabt.Der hat insgesamt 39 Stunden gedauert.

Thomas Lohninger 0:52:25

Darauf kommen wir gleich. Aber ich will nur kurz innehalten,dass das so kurz vor einer Europawahl ziemlicher Wahnsinn ist,als hier eine Massenenteilung von Gesundheitsdaten irgendwie auf den Weg zubringen. Also eigentlich müsste das doch morgen scheitern.Und wenn es das nicht im Trilog tut, dann hätte man nur noch die Chance,das im Plenum in zweiter Lesung zu verhindern, oder?

Ralf Bendrath 0:52:46

In erster Lesung. Wir sind noch im First Reading Procedure. Es geht dann alsojetzt Ende April ins Plenum, ja. Das letzte Plenum vor der Europawahl.Da könnte man noch einen Antrag stellen, das muss man gar nicht,man kann auch dagegen stimmen.Und wenn eine Mehrheit der Abgeordneten dagegen stimmt, dann ist es tot,klar. Aber das sehe ich einfach nicht.Aber macht gerne Kampagne. Wir sind dabei.

Tim Pritlove 0:53:07

Vielleicht hilft ja die German Vote am Ende.

Ralf Bendrath 0:53:11

Nee, in dem Fall hat Deutschland damit kein Problem.

Tim Pritlove 0:53:14

Okay.

Ralf Bendrath 0:53:17

Das war eher so, dass man irgendwie dann aus Verhandlerkreisen im Rat hört,dass die deutschen Vertreter oder Vertreterinnen einer Ratsarbeitsgruppe, das ist ja SPD,Lauterbach, Gesundheitsminister, dass die sich dann abschätzig über den BundesdatenschutzbeauftragtenUlrich Kelber äußern, der auch SPD-Mitglied ist, weil die sich anscheinend mitdem inzwischen so überworfen haben, dass sie über ihn nur noch schlecht reden können.Also unsäglich.Vielleicht noch kurz eine Klarstellung, damit das nicht in den falschen Hals kommt.Es ist schon so, das muss man auch anerkennen, dass die Daten,wenn sie für sekundäre Nutzung freigegeben werden, da muss erst ein Antrag gestelltwerden und die sogenannten Health Data Access Bodies, also in der Regel irgendwelcheAbteilungen im Gesundheitsministerium oder so, müssen das dann genehmigen.Die Daten werden dann nicht einfach an Big Pharma übermittelt,so als riesengroßer Patentendatensatz, sondern die werden nur von dem HealthData Access Body in einem sicheren Processing, in einer sicheren,Datenverarbeitungsumgebung, Secure Processing Environment, bereitgestellt undda muss sozusagen dann der Antragsteller kommen und seinen Algorithmus zu denDaten bringen. Der kriegt aber die Daten nicht mit nach Hause geliefert.Also die Daten gehen sozusagen nicht raus, Aber es sind natürlich trotzdem meineDaten und ich als Patient will selber entscheiden können, ob die irgendjemandfür Forschungszwecke oder so verarbeiten kann, egal wo und unter welchen Umständen.

Tim Pritlove 0:54:41

Alright. Gut, dann schlage ich mal vor, schlage mal hier das Buch erstmal zu,zu dem Thema und kommen auf unseren Kernthema, der AI-Act. Perfekt.Und Annika, da bist du ja sehr engagiert gewesen, wenn ich das richtig verstanden habe.Kannst du vielleicht mal anfangen und nochmal kurz erläutern,was so die Genese dieses Acts war?Also was genau ist hier der Trigger gewesen, damit es überhaupt dazu kam?Und was sind sozusagen die politischen Zielsetzungen, die sich hier letztenEndes Bahn gebrochen haben?

Arnika Zinke 0:55:21

Also vielleicht mag Ralf die Genese kurz machen, weil ich möchte nicht übereine Zeit reden, wo ich noch nicht da war und Ralf war schon dabei.Deswegen kann Ralf vielleicht kurz die Genese machen und ich kann das Gesetzkurz erklären dann und was alles dann während der Verhandlungen passiert ist.

Ralf Bendrath 0:55:37

Das fing schon vor ein paar Jahren an, ich glaube nach einer letzten Legislatursogar, da gab es einen Initiativbericht im Rechtsausschuss von Mehdi Delvauxaus Irland, der hieß zu Robotics and Civil Liability.Da wurde unter anderem diskutiert, ob wenn ein Roboter oder eine KI selbstständigEntscheidungen trifft, ob die dann nicht auch selber wie eine Art juristischePerson werden sollte, die dann auch Verantwortlichkeit dafür kriegt und sowas.Wo dann zum Glück am Ende der Diskussion rauskam, nein, ganz klar,die Verantwortung liegt immer bei einem Menschen.Eine KI kann nicht für irgendwas verantwortlich gemacht werden.Die kann ja auch nicht in den Knast gehen oder so. Jemand würde das nichts ausmachen.Aber die hatte einen ganz schönen Einstieg damals in ihren Erwägungsgründen.Da stand dann unter anderem drin, dass vom klassischen Pygmalion-Mythos derAntike über Frankensteins Monster von Mary Shelley und der Prager Golem-Legendebis zum Roboter von Karel Čapek,der dieses Wort geprägt hat, Menschen über die Möglichkeit fantasiert haben,intelligente Maschinen zu bauen.In den meisten Fällen Androiden mit menschlichen Zügen.Fand ich mal einen schönen Einstieg in so einen Initiativbericht,so ein bisschen poetischer als normal.So, und dann ging so ein bisschen hier überall, das hieß damals teilweise nochBig Data, wurde überall darüber diskutiert, dass man jetzt Möglichkeiten hat,mit den großen Datenmengen auch viele Maschinen zu trainieren und damit lustige Sachen zu machen.Und dann hat die Kommission, die hatte vorher noch so eine High-Level-Expert-Groupeingerichtet und so weiter, dann hat die Kommission angekündigt,sie werden ein Gesetz vorlegen zum Thema KI-Regulierung, das erste weltweit.Und dann wurde hier plötzlich hektische Betriebsamkeit ausgelöst.Da haben, glaube ich, in sieben Ausschüssen wurden dann Initiativberichte gemacht,also von Grundrechteaspekten über Bildung bis hin zu Sicherheit und Verteidigungund so, wo überall KI vielleicht eine Rolle spielen könnte und was man da machen sollte.Und parallel gab es noch einen Sonderausschuss zum Thema KI,wo Axel Voss von der CDU Berichterstatter war.Auch ein bisschen bescheuerte Doppelarbeit. Da macht man sieben Initiativberichteparallel und noch einen Sonderausschuss parallel.Aber irgendwie wollte die Mehrheit im Haus das so.Und Axel Voss hat dann in seinem Berichtsentwurf versucht, so ein bisschen auchMady Delvaux mit ihrem Roboterbericht zu imitieren, in dem auch ein bisschenpoetisch wurde. Aber der hat dann einfach nur Unsinn reingeschrieben.Da stand dann zum Beispiel drin, dass KI das fünfte Element sein wird,neben Erde, Wind, Feuer und Wasser, was uns immer umgeben wird und so.

Thomas Lohninger 0:58:05

Schon fast homöopathisch, okay. Okay.

Ralf Bendrath 0:58:09

Also, naja, und dann kam der Kommissionsvorschlag für das Gesetz,das war etwa vor drei Jahren, ne?Annika, ich weiß gerade gar nicht mehr.

Arnika Zinke 0:58:18

Ja, vor drei Jahren im April 2021. Genau.

Ralf Bendrath 0:58:21

Dann kam der Vorschlag und dann hat relativ schnell der Justizausschuss AxelVoss zum Berichterstatter gemacht für die Gesetzgebung.Und dann haben aber alle anderen Fraktionen sich plötzlich zusammengetan undhaben eine neue Fraktion gegründet, die sogenannte ABV Group, Anybody But Voss.Es wollte einfach niemand außer Axel Voss selber, dass er der fehlerführendeBerichterstatter im fehlerführenden Ausschuss wird. Deswegen war klar,der Rechtsausschuss ist schon mal raus.Und dann wurde ziemlich lange hin und her verhandelt.Und am Ende, so wirklich am letzten Tag der Deadline, glaube ich,kam dann in der Konferenz der Fraktionsvorsitzenden ein Vorschlag von den Sozialdemokraten,dass doch ein gemeinsames Verfahren werden sollte zwischen dem Ausschuss fürbürgerliche Freiheiten, Justiz und Inneres, weil der für die Grundrechte zuständig ist,und dem Binnenmarktausschuss,weil die Kommission dieses KI-Gesetz auch in Form von so einem,auf den Markt bringen Gesetz, was für Regeln muss ich einhalten,wenn ich KI auf den Markt bringen will, vorgeschlagen hat.Und das waren dann am Ende federführende Berichterstatter, Sozialdemokratenim Binnenmarktausschuss und Liberale im Grundrechte- und Innenausschuss.So kam das.

Tim Pritlove 0:59:34

Das ist also alles sozusagen auch von dieser europäischen Sicht des Maschinenmenschen,so Frankenstein und so weiter. Wir haben ja im Westen eine sehr negativ konnotierteSicht auf diese ganze… Hast du recht, ne?Naja gut, ich meine, gehen wir mal nach Japan, da ist einfach eine ganz andere Grundhaltung dazu.Da hast du sozusagen so die Maschine, der Freund des Menschen und wann auchimmer Robotik in Japan ein Thema ist, dann geht es immer sofort um Assistenzsysteme,helfen, Pflege und so weiter.Das ist so das, was da immer im Vordergrund steht und es hat natürlich auchviel mit so einer kulturellen Prägung zu tun, die hier definitiv ein bisschendystopischer ausfällt als jetzt in anderen Kulturen.

Ralf Bendrath 1:00:18

Ja, aber es passt auch, glaube ich, ganz gut in die Linie der ganzen europäischenDigitalgesetzgebung der letzten fast zehn Jahre jetzt, was sozusagen mit derDatenschutzgrundverordnung ja angefangen hat und dann mit dem Digitalen DiensteGesetz, Digitale Märkte Gesetz,Data Act, Data Governance Act und so weiter, oder jetzt hier Cyber Resilience Act,dass man einfach nach und nach jetzt besser verstanden hat, was sind denn wirklichdie echten Risiken und Gefahren bei den ganzen neuen Technologien,vor allem, wenn die in der Masse ausgerollt werden und jetzt versucht,langsam mal die Sachen wieder einzufangen.

Tim Pritlove 1:00:45

Das ist aber ein guter Punkt, weil während wir bei den anderen Sachen ja schondas auch alles sehr lange beobachten oder jetzt verhältnismäßig lange,ja, also das Internet und so Computer etc., das ganze Digitalwesen begleitet uns ja jetzt,sagen wir mal, die europäische Gesellschaft vielleicht aktiv seit Mitte der90er Jahre so wirklich, würde ich mal sagen, ungefähr. ungefähr.Und jetzt haben wir natürlich auch schon eine gewisse Zeit gehabt.Während jetzt dieses AI-Thema ist ja relativ frisch.Also im Vergleich zu den anderen Themen habe ich so den Eindruck,wird das relativ früh aufge...Also das wird nicht mal ein relativ schneller Vorstoß. Sonst sagt man immer,ja, die Politik reagiert ja nicht und jetzt ist das für uns schon alles so dieRealität und die Politik kommt nicht mit.Und jetzt habe ich so fast so den Eindruck, jetzt schlägt es komplett um undjetzt wird AI zu einem Zeitpunkt reguliert,wo glaube ich noch nicht mal eine wirklich klare Vorstellung davon existiert,was es jetzt eigentlich genau ist oder macht oder was jetzt wirklich die realenBedrohungen und Chancen und Risiken sind,um in dieser klassischen Abwägungsgeschichte zu bleiben.

Ralf Bendrath 1:01:57

Ja, da hast du sicher recht.

Arnika Zinke 1:01:59

Ja, und das war, glaube ich, auch sehr bewusst so gemacht, weil eben auch aufdie konstante Kritik irgendwie reagiert wurde, dass wir immer so spät dran wären.Also gerade bei dem Digitalen Dienstegesetz war es ja auch so,dass es hieß, ja, also wir haben so verschiedenste Probleme,gerade mit den großen Plattformen.Und warum braucht da die EU so lange?Und das war dann schon irgendwie so ein selbsterklärtes Ziel,auch von von der Leyen da wirklich irgendwie fortzubreschen und irgendwie mitdiesem Brussels-Effekt quasi zu reiten und da für KI was vorzulegen.Wobei ich finde allein der Name AI Act, und es wurde auch viel kritisiert,nicht ganz unproblematisch ist, weil es ja eigentlich auch um automated decision making geht,beziehungsweise, ja, dass auch nicht ganz klar war, ob dann automated decisionmaking auch in dem Begriff Artificial Intelligence fällt oder nicht.Aber AI Act klingt halt besser als automated decision making law.Also das war auch ein bisschen ein PR.

Tim Pritlove 1:02:55

Ja, guter Punkt. Genau. Und das ist ja dann wiederum etwas, was schon länger diskutiert wird.Man sieht das ja hier auch so Algorithm Watch und ähnliche Gruppen haben sichja da auch schon lange mit dieser Problematik beschäftigt.Also wer fällt die Entscheidung und damit natürlich auch verbunden,wer ist am Ende haftbar für falsch getroffene Entscheidungen und das hinterfragthalt sowohl einfache Algorithmen,die nun durch AI gleich nochmal ein Level weniger nachvollziehbar werden potenziell.

Arnika Zinke 1:03:31

Genau. Und es ist jetzt so, um kurz das Gesetz zu erklären,also ich würde sagen, es ist jetzt im Vergleich zu den anderen Gesetzen vielleichtetwas innovationsfreundlicher gedacht worden,in dem Sinne, dass in dem Gesetz eben auch diese, zum Beispiel diese innovativen,ich weiß gar nicht den Begriff, aber Sandboxes heißt es auf Englisch, Sandkisten.

Ralf Bendrath 1:03:53

Reallabore heißen die auf Deutsch.

Arnika Zinke 1:04:23

Noch nachgeschöpft werden muss. Also es gab quasi ein eigenes Kapitel für Measuresfor Innovation, um eben auch die quasi so ein bisschen industriepolitisch auchzu mehr KI-Systeme in Europa zu generieren.Weil im Vergleich dazu zum Beispiel die Systeme, die verboten werden,im Kommissionsvorschlag ja eigentlich sehr dünn waren.Also es gab ein Verbot für biometrische Massenüberwachung in Echtzeit,aber dann auch wieder mit ziemlich großen Ausnahmen. Unter anderem,wenn man zum Beispiel Missing Children, also Kinder sucht.Es gab ein Verbot für Social Scoring, das aber so limitiert geschrieben war,dass es eigentlich wirklich nicht wirklich was anwendbar gewesen wäre.Wäre, klingt aber gut, wenn man eine PR-Mitteilung dazu macht.Und dann das, was die KI-Provider, also die Hersteller, danke.Es ist wirklich manchmal schwierig, wenn man immer in Englisch arbeitet unddann versucht, alles auf Deutsch zu übersetzen.Genau, also dass die Hersteller einfach eigentlich nur dann etwas zu erfüllenhatten, wenn sie als Hochrisiko eingestuft wurden.Das heißt, es gab zwar diese Pyramide, die vielleicht auch einige schon gesehenhaben, quasi welche Bereiche das KI-Gesetz quasi umfasst.Und oben auf der Pyramide sind die verbotenen KI-Systeme, was ja eigentlichde facto so gut wie nichts ist.Dann gibt es quasi einen mittleren Bereich mit Hochrisiko, wo dann alles,was quasi zu erfüllen ist im KI-Gesetz, quasi nur in diesem Bereich fällt undalle Regelungen quasi nur in dem Bereich zu erfüllen sind.Und dann gibt es noch einen untersten Bereich, das ist Low-Risk oder Minimum-Risk,also quasi die wenigst Risiko-KI-Systeme, die ein paar Transparenzpflichten erfüllen mussten.Das heißt, diese Pyramide, die die Kommission da quasi auch vorgestellt hat,ist eigentlich recht verwirrend, weil letztlich ist es ein Gesetz für ein paarPseudoverbotene KI-Systeme gewesen und das, was sie als Hochrisiko begriffen haben.Und der Begriff Hochrisiko ist ja auch eigentlich recht problematisch,weil da will ja auch kein Hersteller eigentlich reinfallen.Also kein Hersteller, der sein KI-System irgendwie schon verkaufen will,außer es ist wirklich für einen Bereich, der hochproblematisch ist,möchte wirklich in den Hochrisikobereich fallen.Und das ist, glaube ich, auch ein Begriff, der uns negativ durch die ganzenVerhandlungen verfolgt hat.Genau, nur um das fertig zu erklären, was Hochrisiko ist und was nicht,ist in dem sogenannten Annex Free,wenn ich das richtig im Kopf habe, festgeschrieben, das sind quasi verschiedeneBereiche, die von Bildung bis Migration, Arbeitsverhältnisse gehen,wo verschiedene Kaisersysteme,Strafverfolgung genau, reingegebenwurden, die potenziell in diesen Hochrisikobereich fallen könnten.Und genau, also das ist so mal ein bisschen die Logik und auch nochmal daraufzurückzukommen, was Ralf vorhin gesagt hat,es ist eben in diesem Produktsicherheitsgesetzesrahmen eingebettet worden.Das heißt, KI wird als Produkt begriffen, was auch schon nicht ganz unproblematisch ist.Und das wurde auch, also man munkelt, dass es auch deswegen gemacht wurde,damit das Gesetz eben nicht nur im Justizausschuss landet, sondern eben auchim Binnenmarktausschuss, wo ja alles, was Produktsicherheit betrifft, behandelt wird.Also das ist auch schon bewusst von der Kommission so gewählt worden,nicht unbedingt, weil sie KI unbedingt als Produkte sehen wollten,sondern auch, weil man dann vielleicht,und das sieht man auch bei anderen Gesetzen, schon beeinflussen will,in welchem Ausschuss das Gesetz landet, was dann ja auch wiederum Einfluss daraufhat, wie die Parlamentsposition aussehen wird.Also wenn es nur im Liebe landet, dann wird die Parlamentsposition relativ hoheWahrscheinlichkeit progressiver ausfallen, als wenn es nur im Idre landet,was der Industrie- und Wissenschaftsausschuss ist,der traditionell immer recht konservativ, liberal und wirtschaftsfreundlich ist.

Tim Pritlove 1:08:12

Ich habe nochmal eine Nachfrage. Nur mal zu diesem Begriff Hochrisiko.Risiko in Bezug auf wen oder was? Also wie ist dieser Begriff gedacht?Für wen soll was wie ein Risiko sein, damit das da reinfällt?

Arnika Zinke 1:08:29

Also es ist zum einen der Bereich, in dem es verwendet wird,also zum Beispiel Immigration und zum anderen auch quasi, welchen Impact eshaben kann, also welche Einflüsse es quasi auf Menschen haben kann.Also zum Beispiel eben im schulischen Bereich, dass wenn die Systeme quasi nichtgut getestet sind oder starken Bias haben oder Cybersecurity-Probleme haben,dass sie dann ein höheres Risiko quasi darstellen oder potenziell mehr Schadenanrichten könnten als ein Chatbot zum Beispiel.Wobei ich argumentieren würde, dass auch Chatbots Schäden anrichten können.

Tim Pritlove 1:09:02

Also Risiko im Sinne von Gefährdung für Menschen.

Thomas Lohninger 1:09:06

Also ich erinnere mich noch irgendwie, wenn man so Lobbyisten zugehört hat,bevor das Gesetz vorgestellt wurde,hatten die auch schon diese Idee der Pyramide und die haben halt so plakativ gemeint,ganz oben ist automatisierte Tötung, wenn die Drohne dich umbringt oder dassein Mensch noch irgendwas dafür tun muss und ganz unten ist der Algorithmus,der Schrauben sortiert,der gar nicht reguliert wird und dazwischen überlegen wir uns dann irgendwas.Aber das ist halt in der Praxis dann umzusetzen super schwierig,weil auch so Dinge, wo sich die Zivilgesellschaft massiv dafür eingesetzt hat,wie zum Beispiel das Verbot von Gesichtserkennung, Biometrie oder auch,es gibt ja inzwischen so Wahrheitsdetektoren oder Emotionserkennung,wo es sehr zweifelhaft ist, ob das technisch überhaupt funktioniert,was da als Produkt angeboten wird.Und da glaube ich, kommen wir dann auch gleich darauf zu, was denn jetzt wirklichin diesem Gesetz drinnen steht.Und du hast ja auch schon Migration angesprochen. Wir haben in vielen EU-Ländernauch gerade bei arbeitslosen oder arbeitssuchenden Menschen den Einsatz vonAlgorithmen, wurde teils auch schon von Höchstgerichten verboten.Also da gibt es ja wirklich schon viele Fälle, die nach Regulierung schreien.Was wird jetzt besser mit diesem Gesetz?

Ralf Bendrath 1:10:20

Vielleicht noch ganz kurz zu Tim, zu der Frage nach dem Risiko.Also zum Beispiel im Artikel zur Definition, da steht unter systemisches Risiko,dass ein KI dann ein systemisches Risiko hat, wenn sie einen signifikanten Impact,Auswirkungen auf den ganzen Unionsmarkt hat durch ihre Reichweite oder durchvernünftigerweise vorhersehbare negative Effekte auf öffentliche Gesundheit, Sicherheit.Also nicht im Sinne von sozusagen innere Sicherheit, sondern Produktsicherheit,Safety, nicht Security, Public Security, also öffentliche Sicherheit,Grundrechte oder die Gesellschaft als Ganze.Aber das ist natürlich dann auch eine intellektuelle Herausforderung.Damit haben wir auch eine Weile lang gerungen am Anfang, weil dann sagt derArtikel 6 zu den Hochrisiko-KI,die Kommission ist ermächtigt, mit einem delegierten Rechtsakt weitere KI-Systemeoder Anwendungsfälle in den Annex 3 hinzuzufügen, mit den Hochrisiko-KIs,wenn diese neuen KI-Systeme oder Anwendungsfälle ein gleich hohes oder höheres Risiko haben,als die, die schon im Annex 3 drinstehen. Ja, wie misst man das?Wie viel ist 1,50 m KI-Risiko? Das kannst du eigentlich nicht schwer vergleichen.Das ist immer von Anwendungsdomäne zu Anwendungsdomäne.Haben wir echt eine Weile hin und her überlegt und dann am Ende aber gemerkt,das ist eine politische Entscheidung jedes Mal.

Arnika Zinke 1:11:42

Ja, um jetzt auf die Frage zurückzukommen, was ändert sich quasi oder was wird jetzt besser?Also es ist quasi schon so, dass wir natürlich im Vergleich zur Parlamentsposition,die in vielen Fällen besser ist, als das, was dann beim Trilog rauskommt,natürlich nicht alles drin haben, was wir als Parlament angesehen haben alsproblematisch und zu verbietende KI und als Hochrisiko-KI.Also nur, weil du vorher noch angesprochen hattest, Emotionserkennung,Massenüberwachung mit Biometrie,die Polygraphen, das waren alles Punkte, die wir in unserer Parlamentspositionkomplett verbannt hätten, also quasi verboten hätten.Und von denen wir nicht alle, aber einige in gewissen Bereichen geschafft haben, zu verbieten.Das eine ist eben die Emotionskennung, also quasi die basiert darauf,dass man denkt, dass wenn eine Person lacht, dass man davon ableiten kann,dass die Person quasi glücklich ist.Und es ist mittlerweile eindeutig bewiesen, dass das nicht funktioniert unddass es auch gegen Menschen, die zum Beispiel neuroatypisch sind,glaube ich ist das richtige Wort.Einfach auch falsch Emotionen erkennt und dass Emotionen einfach sich nichtleicht so ableiten lassen.Deswegen hat zum Beispiel auch Microsoft Emotionserkennung komplett aus demSortiment sozusagen genommen.Also die entwickeln in dem Bereich auch nicht mehr, weil sie erkannt haben,dass es Pseudowissenschaft ist.Wir haben es zwar nicht ganz durchbekommen, aber wir haben zumindest im Bereicham Arbeitsplatz und im schulischen Bereich Emotionserkennung komplett verboten.Was ein großer Gewinn für uns vor allem als Grüne war, wo man aber Emotionserkennungzum Beispiel noch verwenden darf.Und um ein Beispiel zu nennen, ist eben im Migrationsbereich,also zum Beispiel an Grenzen, was weiterhin hochproblematisch ist,weil die Probleme bestehen ja weiterhin.Es ist zwar Hochrisiko, aber Hochrisiko heißt halt, du musst einige weitere Regeln erfüllen.Das heißt, die KI muss Cybersecurity Standards erfüllen, es müssen gewisse Dokumentationengemacht werden und jetzt in dem spezifischen Fall ist wahrscheinlich auch eineGrundrechteabschätzung notwendig, also das sogenannte Fundamental Rights Impact Assessment.Das war auch ein großer Gewinn für unsere Fraktion, das mit reinzukriegen.Dass eben nicht nur der Hersteller, sondern auch der Benutzer,also der, der das System quasi kauft, sondern wirklich anwendet,sich auch anschauen muss, was macht die KI eigentlich mit den Personen,auf denen ich das anwende.Das ist ein bisschen eine Weiterleitung von dem, was schon in den Datenschutzfolgeabschätzungengemacht wird, aber eben speziell auf KI umgemünzt.Und das war für uns insofern ein großer Erfolg, weil das bedeutet,dass eben nicht nur der Hersteller, der spezifisch und kontextbasierte Anwendungenüberhaupt nicht abschätzen kann, dass sich wirklich der Benutzer hinsetzen mussund sich mit der KI auseinandersetzen muss.Und ich glaube, dass es auch eben daraufhin, wie wir KI verstehen und wie wirgenerell, wie viel Bedeutung und können wir KI zumessen, sehr wichtig ist.Weil wenn das zum Beispiel von Schulen verwendet wird oder auch von Behörden,die vielleicht einen Datenschutzbeauftragten haben und dann das jemandem gebenund sagen, sagen, ja, verwende das halt, um zum Beispiel Schülern zu helfen,in welche Fächer oder in welche Berufe sie sich dann einordnen.Dass es nicht einfach so angewendet wird, sondern die Personen wirklich wissen,okay, welche möglichen Folgen könnte das haben, wenn wir das jetzt mit unserenSchülern gemeinsam verwenden.Und ich glaube schon, dass das auch im Laufe der Zeit auch wirklich dazu führenwird, dass Menschen einfach besser verstehen, wie KI funktioniert und wo auchdie Limits von KI sind, was letztlich auch eine Möglichkeit ist,rechtliche Folgen abzuschätzen.So haben wir es auch mal ein bisschen versucht zu verkaufen,das natürlich auch für Unternehmen, das relevant ist, abzuschätzen,wo sind die rechtlichen Folgen, die ich möglicherweise habe,wenn ich KI verwende, die nicht so gescheit ist, wie ich eigentlich glaube, dass sie ist.

Thomas Lohninger 1:15:27

Also eigentlich so wie bei der Datenschutzgrundverordnung, ein neuer Text,den ich abnicken muss, wo theoretisch drinnen steht, was mit meinen Daten passiertoder was da im Hintergrund eigentlich abläuft.Also es muss erklärt werden für die NutzerInnen, was jetzt in diesem System drin ist.

Arnika Zinke 1:15:47

Ja, und der Benutzer muss sich halt auch wirklich damit auseinandersetzen,welche Personen eigentlich mit der KI interagieren oder auf welche Personendie KI angewendet wird und ob das zum Beispiel jetzt Personen mit dunkler Hautfarbesind oder Personen, die eine Disability haben. Genau.Und der Unterschied zur datenschutzrechtlichen Folgenabschätzung ist,dass es manchmal Fälle gibt, wo es quasi einen grundrechtlichen Impact habenkönnte, wo aber keine persönlichen Daten angewendet werden.Also zum Beispiel, wenn man Migrationsflüsse versucht nachzuvollziehen und darausdie KI irgendwelche Entscheidungen treffen lässt.Und gerade in diesen Bereichen, diese Randbereiche sind, die eben nicht vonder DSGVO abgedeckt sind, ist das auch besonders wichtig.

Thomas Lohninger 1:16:32

Also auch sowas wie Predictive Policing, also dass die Polizei mit Algorithmenversucht, vorherzusehen, welche Verbrechen in welcher Region wann passieren,was ja auch ein bisschen so Pseudoscience ist.

Ralf Bendrath 1:16:43

Also das vielleicht ganz kurz, Predictive Policing, was sich nur auf bestimmteNachbarschaften bezieht oder sowas, das wäre noch erlaubt, würde aber unterHochrisiko fallen, müsste also eine Grundrechtefolgenabschätzung machen und alles mögliche.Aber Predictive Policing über Individuen, dass die KM ja ausrechnet,wie wahrscheinlich ist es, dass Thomas Lohninger in den nächsten zwei Monateneine Straftat begeht, das ist verboten.Und was wir zum Beispiel auch noch verboten haben, ist das, auf Englisch heißtdas Facial Image Scraping, dass ich massenhaft Gesichtsbilder aus dem Internetmir zusammenwühle und daraus dann eine große Datenbank mache.Also Clearview AI oder PIM-Eyes ist jetzt verboten.

Thomas Lohninger 1:17:20

Und diese Grundrechtsabschätzungen, sind die öffentlich einsehbar?Kann ich die als User sehen?

Ralf Bendrath 1:17:29

Die sind in der Datenbank, oder?

Arnika Zinke 1:17:30

Ich glaube, dass die in der Datenbank gegeben werden müssen.Es ist quasi eine neue EU-Datenbank geschaffen worden, wo dann diese Folgerechtsabschätzungenhochgeladen werden müssen, um eben mehr Transparenz zu ermöglichen.Das war zum Beispiel auch etwas, was nicht im Kommissionsvorschlag drinnen warund was uns auch sehr wichtig war, da einfach mehr Transparenz zu schaffen,wer das verwendet und ja, auch, dass eben diese Abschätzungen dann öffentlich sind Das war das.

Ralf Bendrath 1:17:57

Was die Niederländer schon machen oder Amsterdam oder so. Die haben das schonin Betrieb, eine öffentliche Datenbank, wo man sowas genau nachgucken kann.Davon haben wir uns inspirieren lassen.

Arnika Zinke 1:18:05

Sowohl die Datenbank als auch die Grundrechtefolgenabschätzung kommen beideaus den Niederlanden, die Idee.

Thomas Lohninger 1:18:11

Es gibt auch unheimlich viele zivilgesellschaftliche Projekte,die einfach so mappen, welche Anwendungen von KI gibt es schon.Vor allem eben in der öffentlichen Verwaltung, da wo die Leute nicht auskennen,wo es kein Produkt ist. ist.Und das heißt, das kommt jetzt europaeinheitlich und diese Datenbank wird dannwirklich auch so alles beinhalten oder gibt es da auch wieder Ausnahmen,dass zum Beispiel so Polizeimilitären nicht einmelden müssen?

Ralf Bendrath 1:18:36

Ganz richtig geraten, Thomas. Natürlich gibt es Ausnahmen und genau eine dieserAusnahmen ist, dass KI-Anwendungen im Strafverfolgungsbereich in die Datenbankreinkommen, aber in den nicht öffentlich zugänglichen Teil.Also die Aufsichtsbehörden können das weiterhin überprüfen, aber der Öffentlichkeit ist es verborgen.

Tim Pritlove 1:18:56

Was sind denn sozusagen da die Aufsichtsbehörden? Ich habe gelesen,da gibt es ein AI-Office.Ist das das, wovon wir reden?

Ralf Bendrath 1:19:05

Es gibt zwei Ebenen oder sogar drei teilweise, weil die Datenschutzbehörden,wenn es um personenbezogene Daten geht, auch immer noch eine Rolle haben dabei.Aber dann gibt es die Marktaufsichtsbehörden, Market Surveillance Authorities,die sozusagen die Standardbehörden sind in diesem ganzen Produktsicherheits-CE-Label-Rahmenwerk.Und dann gibt es aber, da kann Arneka mehr zu sagen, das ist mal diese ganzeMarktüberwachung, das ist alles Imco-Committee-Territorium, da halte ich michraus, das wissen die viel besser.Aber es gibt dann eben auch noch das AI-Office in der Kommission.Das, warte mal kurz, genau, das ist im Prinzip ein nettes Label für eine neueAbteilung in der Kommission.Also in der Definition steht da, das AI-Office means the commission's functionof contributing to the implementation, monitoring and supervision of AI systems and AI governance.Das ist auch schon etabliert. Das wurde durch die Kommissionsentscheidung vom24.01.2024 schon eingerichtet.Die Kommission kann ja ihre eigene interne Organisationsstruktur selber entscheiden,auch wenn das Gesetz noch gar nicht da ist. Aber die fangen jetzt sozusagenschon mal langsam an, Leute anzuheuern und das ganze Ding aufzubauen und so.Zu den Aufgaben steht in dem einen Artikel zum AI-Office eigentlich gar nichts drin.Da steht nur, das soll irgendwie das alles irgendwie koordinieren und helfen.Aber da muss man sich so ein bisschen durch den Text wühlen.In den einzelnen Punkten kommt dann sowas wie zum Beispiel die Entwicklung fürModellverträge zwischen KI,Hochrisiko-KI-Anbietern und Drittparteien, die irgendwie Komponenten und andereUnterstützungs-Sachen liefern.Dann, was heißt Template nochmal?

Tim Pritlove 1:20:47

Vorlage.

Ralf Bendrath 1:20:47

Eine Vorlage entwickeln für Inklusive eines automatisierten Tools,damit Anbieter von KI ihre Grundrechtefolgeabschätzungen einfacher machen können.Dann soll sie dabei helfen, dass die Industrie Codes of Practice entwickelt,also Verhaltenskodizes.Und das ist ganz interessant. Das ist immer noch eine Sache der Industrie,wie bei vielen anderen Codes of Conduct oder Codes of Practice.Aber da steht jetzt drin, wenn zwölf Monate nach dem Inkrafttreten des AI Actdiese Codes of Practice noch nicht da sind oder die Kommission, also das AI Office,findet, dass die nicht gut genug sind, dann kann die Kommission selber bestimmteStandards nochmal verbindlich entscheiden. Ja.Dann soll das AI-Office die technische Dokumentation von General-Purpose-AI-Modellen,also allgemeinen Zweck, was ist das General-Purpose?

Arnika Zinke 1:21:39

Allzweck-Modellen.

Ralf Bendrath 1:21:40

Allzweck-KI-Modellen überprüfen. Dann soll sie eine Vorlage bereitstellen füreine Zusammenfassung der Inhalte, mit denen die KI trainiert wurde und so weiter und so weiter.Und dann in dem eigentlichen Artikel 64, der dieses AI-Office sozusagen etabliert,steht eigentlich nur, the Commission shall develop union expertise and capabilitiesin the field of AI through the AI-Office. Und das ist eigentlich so der Kern.Das war ein Tipp, den wir damals bei einer Anhörung gekriegt haben von FrancesHaugen, der Facebook-Whistleblowerin, die uns geraten hat, Leute,es gibt nicht genug KI-Expertinnen und Experten in der Welt,um alle 27 Mitgliedstaaten ihre eigenen Expertisezentren aufbauen zu lassen.Das müsst ihr europäisch bündeln.Und das war sozusagen die ganze Idee hinter diesem AI-Office,dass man sozusagen hier einen Pool von Expertinnen und Experten hat,die dann eben den Mitgliedstaaten auch sozusagen beispringen und die unterstützenkönnen bei der Umsetzung.

Tim Pritlove 1:22:38

Klingt jetzt nicht falsch.

Arnika Zinke 1:22:40

Ja, ich wollte nur noch mal sagen, dass das AI-Office auch schon eine Aufsichtsfunktionbei den General Purpose AI-Modellen hat.Und das war ein Zusatzbereich, den es im Kommissionsvorschlag nicht gegebenhat, nämlich diese Allzweck-Modelle.Und das war ein spezifischer Bereich, wo das Parlament ein komplettes Kapitelquasi hinzugefügt hat, weil das Parlament eben gesagt hat, okay,es ist so schön, dass wir KI-Systeme regulieren, aber es gibt ja ein Modell,das vor dem KI-System kommt, auf dem das KI-System oft basiert,wo quasi die Regeln eigentlich jetzt nicht da sind, vor allem,weil das ja alles auf dieses Hochrisiko zugemünzt ist.Von grüner Seite, unsere Idee war ursprünglich, dass wir sagen,alle Allzweckmodelle sollten alle Hochrisikoanforderungen eigentlich auch erfüllen.Das ging aber nicht durch und deswegen haben wir eben einen Kompromiss gefunden,verschiedene Anforderungen, die quasi auf den Hochrisikoregelungen basieren,aber quasi hochrisikoleit auch für diese Allzweckmodelle umzusetzen.Und da hat das KI-Büro jetzt die Funktion.Zu unterscheiden, welche der Modelle quasi nur die einfachen Dokumentations-und Transparenzpflichten erfüllen müssen oder welche Modelle quasi extra Anforderungenerfüllen müssen, also quasi in den Top-Tier fallen.Also es gibt zwei Stufen für die Modelle und Modelle, wer zum Beispiel eben GPT-free,worauf jetzt Chat-GPT basiert oder ja, also verschiedene Large-Language-Modelszum Beispiel, aber auch, was auch immer in der Zukunft kommen mag,Und die stärkeren Regeln wären dann zum Beispiel Red Teaming,also interne Risikoanalyse bzw.Risikotesten von möglichen Problemen innerhalb des Modells.Und das war eben ein komplett neuer Bereich, den das KI-Gesetz selbst und dieKommission überhaupt nicht vorhergesehen hatte. Und die jetzt der Kommissiondeutlich mehr Macht geben, als eigentlich auch vorhergesehen war.Weil eigentlich war es wirklich gedacht, dass es national eben über die MarketSurveillance Authorities und die Data Protection Authorities in jedem Mitgliedstaateinzeln die KI-Systeme überwacht werden.Und jetzt sind die ganzen Modelle ausgelagert zu dem AI-Office,das eben nicht nur eben die ganzen Punkte erfüllen kann, die Ralf vorhin schonerwähnt hat, sondern eben auch einteilen kann,wer das quasi Modell leiht und wer das Modell, das quasi einen höheren Impacthat und deswegen weitere Anforderungen erfüllen muss.Und das ist auch insofern interessant, weil in der Zukunft das AI-Office auchweitere problematische oder impactful Modelle hinzufügen kann in den Top Tierund deswegen ja relativ viel Macht bekommt.

Ralf Bendrath 1:25:28

Und wir wissen seit heute Morgen schon, wer der Chef wird.

Thomas Lohninger 1:25:32

Bevor wir dazu kommen, die generelle Struktur davon, dass wir das mal wiederholen.Also an sich war gedacht, die ganze Rechtsdurchsetzung über diese nationalenMarktaufsichtsbehörden zu machen.Und jetzt ist sozusagen auf Bestreben des Parlaments hin,dieses AI-Office bei der Kommission mächtiger geworden in Bezug auf das Einstufenvon konkreten KI-Systemen gemäß ihrem Risikogehalt.Halt dieser generellen Modelle, General Purpose Modelle, da kann man sich wahrscheinlichso die klassischen Large Language Models vorstellen, oder? Ja?Unique. Und du hast dann aber am Ende eigentlich so welche Auflagen,weil für mich ist so, das habe ich auch mit Kolleginnen schon diskutiert ausder Zivilgesellschaft,es ist so ein bisschen sehr weird, jetzt zu sehen, dass eine Marktaufsicht aufeinmal Grundrechte einhalten soll.Also wo sind wir denn jetzt mal so ein Testcase von, ich weiß nicht,Clearview AI haben wir vorher gesagt, das ist sowieso ganz verboten,aber was gibt es denn so für Beispiele, die ihr nennen könnt,wo nach eurer Lesart des Gesetzes einem Unternehmen auch Konsequenzen drohen,wenn durch die eigenen Systeme wirklich Schaden auftritt bei Menschen.Ist das alles nur eine theoretische Sache, wo ich eine Abschätzung irgendwo hinterlegen muss?Oder kann ich da zum Beispiel auch als Betroffener klagen? Wir haben ja,glaube ich, auch in der Sendung zuletzt schon diesen British Post Office Scandal diskutiert,wo aufgrund eines Fehlers eines Computersystems hunderte Menschen fälschlicherweisederen Existenzen zerstört wurden.Ja, hätte man vielleicht im Vorhinein auch nicht gesagt, dass es ein Hochrisikosystem sein soll.War es dann aber am Ende? Also würde der AI-Act bei solchen Fällen helfen und wenn ja, wie?

Arnika Zinke 1:27:26

Also zum einen zur AI-Liability, also quasi zu dem Schwestergesetz zur Produkthaftungsrichtlinie.Da warten wir ja immer noch darauf, dass es da in dem Bereich eine Entscheidung geben wird.Und das würde, glaube ich, vieles von den Fällen, die du gerade genannt hast,also wie kann ich persönlich vorgehen und persönlichen Schaden,Was es schon gibt, ist, dass das KI-Gesetz auch die Möglichkeit hat,über die Collective Redress, also kollektive Verbandsklage, dass Verbandsklagenquasi ermöglicht werden.Das heißt, wenn du quasi nachweisen kannst, dass der Hersteller zum Beispieldie Anforderungen nicht erfüllthat im Hochrisikobereich, dann wäre zum Beispiel so eine Klage möglich.Wir haben auch eingeführt, dass eine individuelle Person auch zu einer nationalenBehörde gehen kann und sich beschweren kann, wenn man glaubt,dass innerhalb dieser Regulierung gewisse Pflichten nicht erfüllt worden sind.

Thomas Lohninger 1:28:22

Aber ich hake genau da ein. Also wenn ich jetzt ein Unternehmer bin mit einerganz bösen Absicht, so ein typischer Überwachungsschweinekonzept,kann ich sozusagen hier meinen Kopf aus der Schlinge ziehen,wenn ich genügend Papier produziere und über alle diese Risiken ganz viele Abschätzungen mache?Oder ist am Ende der real auftretende Schaden das, was auch zu der Strafe führen kann?Egal wie viel Papier ich da vielleicht rundherum mir zugekauft habe,um das zu kaschen, um das irgendwie so einzukleiden.

Ralf Bendrath 1:28:53

Ja, wenn du es als böser Überwachungskapitalist mit einer fiesen Firma es schaffst,irgendwie alle Auflagen des AI-Acts zu erfüllen, inklusive Grundrechte, Folgenabschätzung,inklusive die Auflagen zu Data Governance, dass du zum Beispiel gucken musst,ob in deinen Trainingsdaten irgendwelche Biases versteckt sind und wenn ja,musst du das irgendwie angehen und so. Wenn du das alles schaffst, dann bist du raus.Ja, ich möchte nur den fiesen Überwachungskapitalisten sehen, der das hinkriegt.Aber grundsätzlich, ich glaube, die Logik ist sozusagen, wenn ein konkreterSchaden entsteht, dann greift sowieso die Produkthaftungsrichtlinie jetzt,weil die jetzt ja auch für alle digitalen Produkte gilt.Wobei, nee, warte, die greift ja nur, wenn ich mir das Produkt selber gekauft habe. Stimmt.Nicht, wenn ich Opfer von einem Produkt von jemand anderem bin.Aber der AI-Act, soweit ich es im Kopf habe, aber correct me if I'm wrong, Annika,der sieht Strafen und Ähnliches dann vor, wenn die Anbieter von KI-Systemenoder auch die Nutzer von KI-Systemen gegen Regeln des AI-Acts verstoßen.Unabhängig davon, ob am Ende ein Schaden rauskommt oder nicht.Schaden kann dann immer auch noch zivilrechtlich und anders wie irgendwie eingeklagt werden.

Tim Pritlove 1:29:59

Aber da will ich jetzt nochmal einhaken, weil ich fand das Beispiel,was Thomas genannt hat, mit diesem Post-Office-Skandal eigentlich ganz plastisch,weil das ja eine, also da ist der negative Impact ja sehr offensichtlich,ja, also da sind ja, Leute haben sich ja umgebracht deswegen,weil eine Software falsch gerechnet hat und wie du schon sagst,gekauft haben sie aber das Produkt nicht, sondern sie mussten das sozusagenim Rahmen ihrer vertraglichen Bindung mit dem Post Office,UK Post Office sozusagen benutzen oder es wurde für sie benutzt und es war eigentlichdie Software der Post sozusagen.Also ist irgendetwas in diesem AI-Eck, wo ihr sagen würdet, hier greift jetztdiese Idee der Entscheidungsfindung und der Macht der Algorithmen,die diesen Fall abgedeckt hätte?

Arnika Zinke 1:30:47

Also ich glaube, es geht eher darum, dass die Produkte, die zukünftig auf denMarkt gebracht werden, gewisse Standards erfüllen müssen.Das heißt, die Wahrscheinlichkeit, dass so ein schädliches oder ein schadhaftesProdukt auf den Markt gebracht wird, versucht der AI zu minimieren,indem er eben Data Governance, Cyber Security und so weiter vorschlägt.Und alles, was dann quasi später passiert, findet eben in der AI Liability Directive,die es noch nicht gibt, also KI-Haftungsrichtlinie statt.Und der Hayek versucht quasi nur sicherzustellen, dass die Produkte,die in Zukunft in der EU auf den Markt kommen,ein Minimum an Standards erfüllen, die wir quasi in unseren EU-Values als wichtiggenug ansehen, damit KI auch trustworthy wird,also vertrauensbindend, also dass man quasi ein gewisses Vertrauen in die KI hat.

Tim Pritlove 1:31:47

Ja gut, aber hier ist es ja noch nicht mal KI. Hier ist ja Plus und Minus nichtrichtig benutzt worden.

Arnika Zinke 1:31:55

Dann würde es eigentlich nicht in den Scope vom KI-Gesetz kommen.

Tim Pritlove 1:31:58

Das heißt, das ist sozusagen immer noch nicht sanktioniert.Ja, nee, verrechnen dürft ihr euch, aber ihr dürft nicht im abstrakten Raumfalsch sein, nur im konkreten. Ist auch ein bisschen doof, oder?

Ralf Bendrath 1:32:10

Ja, aber dass die sich da einfach stumpf verrechnet haben, das wird ja wohlirgendwelche rechtlichen Folgen haben müssen, oder?

Tim Pritlove 1:32:15

Ja gut, also ich meine, das geht jetzt schon seit über zehn Jahren ist es bekannt,dass sie sich verrechnet haben und es ist ja jetzt erst durch eine Fernsehserieim englischen Fernsehen und britischen Fernsehen überhaupt erst zu einem Skandal geworden,weil dann die Öffentlichkeit gesagt hat, was geht denn hier ab und in der Zwischenzeit,wie gesagt, Leute hat das halt in den finanziellen Ruin getrieben und mehrereder Betroffenen haben sich halt einfach das Leben genommen.Und das ist halt schon irgendwie so ein Level, wo ich sagen würde,da kann man schon mal rein regulieren, um sicherzustellen, dass so etwas nicht geht.Deswegen frage ich halt einfach ganz blöd, seht ihr jetzt irgendwas in diesemAI-Act oder in dieser Product-Liability-Richtlinie, das so etwas verhindertoder ist das jetzt tatsächlich noch nicht mal abgedeckt?

Ralf Bendrath 1:33:04

Wenn es um einfaches Plus-Minus geht, ist es nicht abgedeckt.Das ist ja nicht unter KI.

Tim Pritlove 1:33:10

Also verrechnen darf man sich nach wie vor, nur nicht falsch schwurbeln.

Arnika Zinke 1:33:15

Also es gab auch im KI-Gesetz ganz stark den Push, es nur auf Machine Learningzu begrenzen, also KI nur als Machine Learning zu begreifen.Und es hat uns sehr viel Kraft gekostet, dass zumindest Teile von AutomatedDecision Making weiterhin im Skop von KI-Gesetz drin sind. Also so einfachereSoftware ist im KI-Gesetz auf jeden Fall nicht mit ihm begriffen.

Tim Pritlove 1:33:39

Ja gut, aber ich meine, in dem Fall war es ja so,dass den Vertragspartnern des Post Office quasi ein Fehler nachgewiesen wurde,den es so nie gegeben hat und das ist ja eigentlich auch eine Entscheidungsfindung.Es war nämlich die Entscheidungsfindung mit, deine Abrechnung stimmt nicht, obwohl sie stimmt.So und damit ist ja sozusagen von einer Software eine falsche Entscheidung gefälltworden, die dann auch später niemand anzuzweifeln bereit war,geschweige denn irgendeine Verantwortung dafür zu übernehmen.Und alle haben sich gegenseitig da in Schwarzenpeter zugezogen und alle, die das halt,es wurde ja noch dadurch verschlimmert, dass halt das Post Office auch nochin UK, gut ich weiß jetzt nicht EU und so, aber es geht ja jetzt nur sozusagenum so einen Fall, der ja durchaus realistisch ist, weil der hat ja stattgefunden,dass das Post Office halt auch noch so einen anderen rechtlichen Status hat und so weiter.Also es war also generell sehr schwierig, da überhaupt irgendwie gegenzugehenund es hat die Leute halt einfach mal komplett ruiniert.Das ist ja schon ein ziemlich harter Tobak. Also in meiner Wahrnehmung ist aucheine Berechnung, eine Saldos, eine automatische Entscheidungsfindung,weil ja da am Ende eine Wahrheit geliefert wird.Nämlich die Wahrheit mit, du hast uns genug Geld gegeben oder du hast uns nicht genug Geld gegeben.

Arnika Zinke 1:34:58

Ich verstehe dein Reasoning und es ist nicht so, dass ich dir widerspreche.Ich kann dir aber sagen, dass genau diese einfacheren Entscheidungsfindungen,genau das ist, was der Großteil der Personen, die am Verhandlungstisch saßen,vor allem die Kommission und der Rat, auf gar keinen Fall drin haben wollten.Also da ging es schon darum zu sagen, es muss etwas sein, was schon auf höherenEbenen quasi arbeitet und jetzt nicht ganz einfache Rechnungen und Excel-Tabellen.In Excel-Tabellen war immer so ein Beispiel, was sie gebracht haben.

Tim Pritlove 1:35:28

Die müssen auch weiterhin falsch sein dürfen, sonst läuft gar nichts mehr.

Thomas Lohninger 1:35:34

Ich würde da gerne noch einen zweiten Fall reinnehmen, und zwar dieser niederländischeSkandal, wo die Steuerbehörden sich vertan haben, wo ja auch die Regierung vonMark Rutte darüber gestolpert ist.Und das als Frage zu formulieren,es macht für den AI keinen Unterschied, ob jetzt ein Unternehmen hier diesesProdukt auf den Markt bringt und diesen Fehler macht oder diesen Bias hat oderob es die öffentliche Hand ist, wo man ja vielleicht sagen könnte,da wollen wir höhere Anforderungen haben.Weil beim Unternehmen kann ich vielleicht noch irgendwie sagen,okay, gut, da werde ich kein Kunde.Aber wenn es jetzt irgendwelche Behörden sind, die solche algorithmischen Systemeanwenden, habe ich oft keine Wahl.Gibt es da höhere Auflagen für die öffentliche Hand?

Arnika Zinke 1:36:20

Also es gibt grundsätzlich, die Hauptlast der Anforderungen liegt auf jedenFall beim Hersteller und nicht beim Anwender.Also das ist mal so die grundsätzliche Idee auch vom KI-Gesetz.Das heißt, wenn, dann würde wahrscheinlich, also gerade wenn die KI in irgendeinerForm fehlerhaft, also zum Beispiel eben Bias hat, dann würde das eher auf denHersteller fahren als auf den Benutzer.Was es aber eben schon gibt und das ist eben vor allem für Behörden,wird es wichtig sein, ist eben diese Grundrechtefolgenabschätzung,die vielleicht in dem Fall, den du genannt hast, gegriffen hätte,weil sie sich dann schon bewusst gewesen wären.Das geht aber dann schon gegen Personen, die dann zum Beispiel sozial benachteiligtsind. Aber die Hauptklasse wäre eigentlich bei dem Hersteller.Und es gibt in dem Sinne ein paar zusätzliche Anforderungen für Behörden.Aber trotzdem muss eigentlich der Hersteller garantieren und sicherstellen,dass die KI in Ordnung ist.

Ralf Bendrath 1:37:11

Aber wenn ich das ergänzen kann, dieser holländische Sozialversicherungsfall,der hat uns natürlich hier alle bewegt.Und eine unserer Co-Verhandlerinnen war ja die grüne Abgeordnete aus Holland,Kim van Starrentaak im Innenmarktausschuss, neben Sergej Labudinski im Innenausschuss.Und da ist jetzt im Annex 3 für die Hochrisiko-KIs Punkt 5 drin,extra, der war auch schon vorher von der Kommission, den haben wir nur ein bisschenaufgebohrt, alles, wo eine KI eingesetzt wird zum Entscheiden,ob jemand Zugang zu essentiellen privaten Diensten oder essentiellen öffentlichenDiensten und Benefits, also...

Thomas Lohninger 1:37:48

Also staatliche Leistungen, Sozialhilfe.

Ralf Bendrath 1:37:51

Oder auch essentielle private Leistungen, wenn das irgendwie Versicherungsleistungensind oder sowas, keine Ahnung.Dann fällt das auf jeden Fall unter Hochrisiko-KI, man muss die ganzen zusätzlichen Auflagen erfüllen.Unter anderem, wenn es um Gesundheitsdienste geht, aber auch darum zu entscheiden,ob jemand Anspruch auf irgendwelche Leistungen hat.Ob es Renten sind, Sozialversicherungsansprüche, was auch immer.Oder wenn man in dem Kontext versucht, die Kreditwürdigkeit von Leuten abzuschätzen mittels KI.Das ist auf jeden Fall auch Hochrisiko und braucht dann eben die ganzen Dokumentationspflichten,Bias, es muss angegangen werden in Trainingsdaten und, und, und.

Thomas Lohninger 1:38:29

Das heißt, um es pragmatisch zu machen, wenn ich meine Haushaltsversicherungmir verwehrt wird oder das Jobcenter sagt,du kriegst deine Arbeitslose jetzt nicht mehr oder die Schulung nicht mehr bezahlt,dann wäre das Hochrisiko, auch wenn das vielleicht nur mit Excel passiert.

Ralf Bendrath 1:38:46

Nee, nur wenn es auf Basis von einer KI passiert.Also wenn es schon irgendwie ein Machine Learning System dahinter hängen.Was aber immer ergreift, unabhängig vom AI Act, ist dann der Artikel in derDSGVO zu Profiling und automatisierter Entscheidungsfindung,wo ja eh schon drin steht,man darf als natürliche Person nicht sozusagen Opfer sein von einer negativenEntscheidung, die ausschließlich mit automatisierten Entscheidungssystemen getroffen wurde.Also da ist auch immer noch ein Mensch verantwortlich. Und ich habe immer nochdas Recht, mich da auch zu beschweren entsprechend nach DSGVO und so.

Tim Pritlove 1:39:22

Ja, ich denke, es wird dann nicht so lange dauern, bis die AI auch in Excel das Sagen hat.Von daher fällt es dann vielleicht irgendwann doch wieder da drunter.Na gut, also ein paar Lücken bestehen auf jeden Fall noch.

Arnika Zinke 1:39:34

Ja, wenn du gerade Lücken ansprichst, kann ich noch eine Lücke nennen,die wir leider im Endgesetz jetzt drinnen haben.Also ich habe schon vorhin erwähnt, dass quasi das ganze Gesetz das Wichtigsteist eigentlich, okay, jetzt neben den General Purpose AI Punkten,die gut sind, die Hochrisikofälle und die Hochrisiko-KI.Und da gibt es einen Artikel, der quasi sagt, was fällt in Hochrisiko und wasnicht. Das ist der Artikel 6.Und das war eigentlich die Krux in dem Ganzen oder das Wichtigste in dem ganzenGesetz, nämlich was fällt also aus dem Annex, den wir dazu haben,quasi die Bereiche drinstehen, tatsächlich in alle Anforderungen quasi, die im Gesetz stehen.Und da gibt es jetzt quasi drei Möglichkeiten, wie man sich aus dem Gesetz wiederrausholen kann, die relativ weit formuliert sind und möglicherweise auch nochin Zukunft zu Problemen führen könnten, weil sie so weit formuliert sind.Das heißt, man kann sich dann eigentlich wieder aus den Hochrisikoverpflichtungenrausholen, wenn man in diese drei Bereiche fällt.Die ganze Raison des Gesetzes, auf dem die Kommission auch ihre Logik aufgebauthat, ist eigentlich mit diesem Artikel 6 und mit diesen Ausnahmen ein bisschen zerstört worden.Und das ist etwas, das für uns sehr hart hinzunehmen.

Thomas Lohninger 1:40:50

Was sind das für Ausnahmen?

Arnika Zinke 1:40:52

Ein ganz kleiner Moment. Also, wenn die KI nur narrow procedural,also prozedurale Anwendungen sind, die quasi so ein bisschen nebenbei laufen,aber nicht quasi das Hauptressort der KI sind, dann kann man sich rausnehmen,was jetzt genau diese narrow procedural tasks sind.Haben wir jetzt ein bisschen im Erwägungsgrund erklärt, könnte man aber auchrelativ weit begreifen.Dann sagt es, wenn die KI nur versucht, eine bereits ausgeführte menschlicheAktivität zu verbessern, was ist eine bereits ausgeführte menschliche Aktivität?Das könnte alles sein. Ich glaube, Ralf hat gesagt oder jemand,es könnte eine gebaute Pyramide sein.Das ist ja auch eine beendete menschliche Aktivität. Also, ja,problematisch, wenn das KI-System nur Decision-Making-Patterns versucht zu verbessernund keine menschliche Entscheidung entwickelt.Ersetzt.

Thomas Lohninger 1:41:59

Aber das ist ja genauso wie das, was Ralfrat gesagt hat.Bei der DSGVO haben wir auch diesen guten Artikel, die automatisierten Entscheidungen,die sozusagen zustimmungspflichtig ist, wenn sie ausschließlich von einer Maschine getroffen wird.Also solange da irgendwo noch ein Mensch sitzt, der die ganze Zeit nur auf OKklickt zu dem, was die Maschine ihm vorgibt, kannst du dich eigentlich wieder rausreden.

Arnika Zinke 1:42:23

Ja, was höchst problematisch ist und was eben auch zum Beispiel dieser HumanOversight Artikel, also eine dieser Regeln, die die Hochrisiko-KI zu befolgenhaben, ist eben, dass es einen Human in the Loop gibt, also einen Menschen,der da sitzt und eben okay drückt.Und wir haben quasi auch versucht, bei den Verhandlungen zu erklären,dass es sowas wie Automation Bias gibt, also dass man quasi davon ausgeht,dass wenn die KI sagt, naja, die Person ist in irgendeiner Form kriminell,dann wird das schon stimmen, weil die hat das ja aufgrund von irgendwelchen Parametern bemessen.Und das ist eben genau das Problem, dass nur weil ein Mensch da sitzt und dasüberprüft, das nicht immer mit einem großen Gedankengang einhergeht,weil die Personen oft gar keine Zeit haben, sich da groß zu überlegen,welche Parameter da jetzt in die KI angeflossen sind.Und das ist natürlich schon problematisch, dass es jetzt diese Möglichkeitengibt, um sich quasi wieder aus dem AI rauszuholen.Das gilt aber nur für KI-Systeme und nicht für die Modelle. Also für die Modellegibt es diesen Filter, in Artikel 6 für die gilt er nicht.

Ralf Bendrath 1:43:21

Was wir in der Parlamentsposition, wenn ich mich richtig erinnere,dritte hatten, war ein ausdrückliches Verbot dafür, dass eine KI quasi Urteileschreiben darf, die der Richter am Ende nur noch unterzeichnet.Das ist aber leider im Trilog wieder rausgeflogen.

Thomas Lohninger 1:43:35

Da würde ich gerne wissen, welcher Mitgliedstaat sich dafür eingesetzt hat,dass das künftig gehen kann.

Ralf Bendrath 1:43:40

Keine Ahnung.

Thomas Lohninger 1:43:41

Ja, wir haben da zu viel...

Ralf Bendrath 1:43:42

Wir haben mit den Spaniern verhandelt vor allem. Aber wer dann dahinter steckt,ist uns immer so ein bisschen unklar, wenn man da nicht die Kontakte hat.Und natürlich eine Sache vielleicht noch zum Schluss.Das riesengroße Ding, das bis zum Schluss umstritten war und uns da irgendwiezwei Nächte noch gekostet hat, war halt die Frage mit Gesichtserkennung im öffentlichen Raum.

Thomas Lohninger 1:44:01

Ja, ich wusste, dass das jetzt so kommt. Ich hätte dich sonst gleich danachgefragt. Wie ist das denn gelöst?Hier war die große Forderung der Zivilgesellschaft, Gesichtserkennung im öffentlichenRaum wirklich gänzlich als Hochrisikotechnik zu verbieten und daran anschließendnatürlich auch alle anderen Formen biometrischer Erkennung am Gang,einfach alles, wo uns Bewegungsfreiheit im öffentlichen Raum weggenommen wirdund Datenschutz eingeschränkt.Das war auch mit einer europäischen Bürgerinitiative nochmal bestärkt,diese Forderung, Reclaim Your Face, hieß die Kampagne.Und das hat es ja, glaube ich, auch in die Parlamentsposition geschafft.Nehmt uns nicht die Hoffnung. Was ist daraus geworden?

Ralf Bendrath 1:44:46

Das übernehme ich mal, ja. Das ist eher mein Blutfallbereich.Ja, es steht jetzt in Artikel 5, Paragraph 1.h.Also Paragraph 1 ist, die folgenden KI-Praktiken sind verboten.Paragraph h, die Nutzung von Echtzeit-biometrischen Identifikationssystemenauf Entfernung in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung.Ist verboten, steht so drin, aber leider ist der Satz dann noch nicht zu Ende.Der geht nämlich dann weiter, außer und insoweit, als solche Benutzung striktnotwendig ist für eines der folgenden Zwecke.Und dann kommen sozusagen die Ausnahmen, wo es dann doch erlaubt ist,die gezielte Suche nach spezifischen Opfern von Entführung oder Human Trafficking oder so.Zweitens die Verhinderung einer spezifischen,substanziellen und unmittelbar bevorstehenden Bedrohung für das Leben oder diephysische Sicherheit von natürlichen Personen oder einer genuinen und gegenwärtigenoder vorhersehbaren Bedrohung einer terroristischen Attacke.Und drittens die Identifizierung und Lokalisierung von einer Person,die verdächtig ist, eine Straftat begangen zu haben, die mit einer Höchststrafevon mindestens vier Jahren Gefängnis bestraft werden kann.Also für die Zwecke wäre es noch erlaubt. Also die Idee war sozusagen dahinterdann am allerletzten Kompromiss, Donnerstag, Freitagnacht oder wann,kurz vor Weihnachten, dass wenn irgendwo jemand eine Tankstelle ausgeraubt hatund davonrennt oder davonfährt auf dem Motorrad oder so und vielleicht keinenHelm auf hat, dass man dann schnell in Echtzeit die Kameras,die es da in der Gegend gibt,wenn die sozusagen verbunden sind und Gesichtserkennung überhaupt können undsowas, einschaltet und sagt, hier, den finden wir mal diesen einen Räuber hier.Damit wir, solange der noch in der Nachbarschaft ist, irgendwie grob eine Chancehaben, dass der irgendwie noch gefasst wird.Das war sozusagen die Idee. Da kann man dann sagen, ja, ist total offen undweit. Das hat aber bestimmte weitere Voraussetzungen noch.Das soll autorisiert werden von einer Justizbehörde oder einer anderen Behörde,die binnen der Entscheidungen treffen können, also de facto Staatsanwaltschaftdann wird das sein in der Praxis.

Thomas Lohninger 1:47:03

Ein Richter?

Ralf Bendrath 1:47:04

Ja, eben, Justiz oder Staatsanwaltschaft. Dann muss diese Behörde,die es anwenden will, vorher eine Grundrechtefolgenabschätzung gemacht haben mit dem System.Zumindest in der Regel, es gibt Ausnahmen. Dann muss es strikt limitiert sein in Bezug auf die Zeit,in der das gemacht werden darf,also die Dauer und den geografischen und persönlichen Anwendungsbereich.Du kannst ja nur die Nachbarschaft überwachen, aber nicht ganz Berlin oder so oder ganz Brüssel.Und jede Nutzung soll den zuständigenMarktaufsichtsbehörden und Datenschutzbehörden notifiziert werden.Und das Ganze ist aber sozusagen nur die Leitplanke. So weit darfst du maximal gehen.Das ist noch keine Rechtsgrundlage dafür. Es steht dann in § 5,um das machen zu können, müssen die Mitgliedstaaten selber noch eine Rechtsgrundlagein ihrem nationalen Recht schaffen.Also wir haben als KI-Gesetzgeber hier jetzt nichts erlaubt.Wir haben nur gesagt, wenn ihr das macht, müsst ihr diese Leitplanken einhalten.Und es steht ausdrücklich drin, die Mitgliedstaaten können auch restriktivereGesetze verabschieden zu dem Thema.

Tim Pritlove 1:48:12

Da ist aber jetzt ein Wort drin, nämlich das Wort Echtzeit.Wenn ich das jetzt richtig verstanden habe, schließt diese ganze Regelung nurdie Echtzeitverwendung aus, aber nicht die Vorratsdatenspeicherung sozusagen.

Ralf Bendrath 1:48:28

Die Vorratsdatenspeicherung von Kamerabildern ist nochmal ein ganz anderes Thema.Das ist nicht vom KI-Gesetz geregelt. Also wie lange so eine Kamera Bilder aufbewahrendarf, das ist außerhalb des Geltungsbereichs vom AI-Act.

Tim Pritlove 1:48:38

Ja, beziehungsweise wenn man halt jetzt sozusagen Gesichtserkennung macht aufden Daten, aber halt nicht in Echtzeit.

Thomas Lohninger 1:48:43

Du speicherst die fünf Minuten ab und danach machst du die Gesichtserkennung drüber.

Tim Pritlove 1:48:48

Zum Beispiel, oder auch ein paar Tage so.

Thomas Lohninger 1:48:49

Oder es ist halt irgendwie, du hast es vorher gesagt, nur für den strafrechtlichenBereich. Die Privaten sind davon jetzt nicht umfasst.

Ralf Bendrath 1:48:57

Die Privaten sind nicht erfasst und auch sowas wie Grenzkontrollübergänge sind nicht erfasst.Das ist von der Datenschutzgrundverordnung geregelt. Da gibt es zum Beispielauch schon Entscheidungen der Datenschutzbehörden, wenn irgendwelche Fußballstadienein Verbot hatten von Hooligans, dann haben sie teilweise Gesichtserkennungeingesetzt, um die einzelnen Hooligans, die ein Stadionverbot hatten, zu finden.Da gibt es Entscheidungen der Datenschutzbehörden, sozusagen außerhalb dieserRegelung hier. Was es aber auch noch gibt, ist eine Regelung zu retrograderbiometrischer Gesichtserkennung, also Post-RBI, eben nicht in Echtzeit.Und da ist eben die Idee, dass das nicht mehr verboten ist, sondern nur nochHochrisiko, was für uns ein super, super dicke Kröte war, das zu schlucken.Könnt ihr euch vorstellen.Wir wollten komplett verabredet von allem. Wir haben jetzt schon in Echtzeitda irgendwie ein paar Ausnahmen drin reingekriegt, die aber,wie gesagt, für spezifische Verdächtige und so nur greifen.Und für retrograde KI-Echtzeit, nein, für retrograde Gesichtserkennung im öffentlichenRaum, da brauchst du erstmal die Aufnahmen, sonst kannst du es nicht machen.Und da gibt es dann eben unter Datenschutzrecht schon Regeln,wie lange dürfen Videokameras die Daten speichern und so und nach wie vielenStunden müssen sie gelöscht werden oder überschrieben werden.Und wenn du diese Daten noch hast, wenn die mal gespeichert sind und auch legalnoch gespeichert waren, dann kannst du die jetzt für ähnliche Fälle benutzen,nämlich für eine gezielte Suche nach einer Person,die auch wieder einer Straftat verdächtig ist, in dem Fall nicht mal eine schwereStraftat, sondern generelle Straftaten, wiederum mit Autorisierung eines Gerichtsoder einer Staatsanwaltschaft.Limitiert auf das, was strikt notwendig ist für die Ermittlung in einem spezifischenStrafverfahren, also kannst du die einfach allgemein erstmal alle so abscannen, ohne Anlass,In keinem Fall soll so ein Hochrisiko-KI-System genutzt werden für Strafverfolgungszweckein einer ungezielten Art,untargeted way, ohne Link zu einer spezifischen Straftat oder einem Strafverfahrenoder eben einer spezifischen drohenden Gefahr oder so.Und solche Nutzungen müssen dann zumindest in der relevanten Polizeiakte dokumentiertwerden und auch den Marktaufsichtsbehörden und Datenschutzbehörden verfügbargemacht werden auf Nachfrage.Und wir sind uns, glaube ich, alle echt einig, dass das nicht gut ist.Das ist irgendwie viel, viel offener und viel weiter, als wir es uns gewünscht hätten.Das war am Ende sozusagen der Kompromiss, der auch noch total verfahrensmäßigrichtig übel gelaufen ist. Wir hatten am letzten Abend des Trilogs, das war das 12., 10.Dezember oder so, hatten wir noch keinen finalen Text zu dieser retrograden Gesichtserkennung.Wir hatten aber vorher einen Text von einer spanischen Ratspräsidentschaft bekommen,der irgendwie in die richtige Richtung ging. ging.Da war noch eine limitierte Liste mit Straftaten, wo das genutzt werden kann und so weiter.Aber irgendwie ist es dann nicht mehr dazu gekommen, noch einen finalen Textauszufaden in der Nacht.Und dann sind alle nach Hause und ins Wochenende und am Montag oder Dienstaghaben wir noch mal wieder ein paar Aufräumtermine gehabt auf technischer Ebene,also Mitarbeiterebene.Und dann kriegen wir plötzlich von den Spaniern da einen Text präsentiert,der einfach komplett anders war als das, was wir gedacht hatten, wie die Einigung ist.Und dann ging es wirklich noch zwei Wochen hin und her.Die letzte Woche war dann irgendwie die die Sitzungsfeierwoche vor Weihnachten,wo alle schon im Urlaub waren.Ich saß da irgendwie an der Nordsee im Ferienhaus und habe mir noch E-Mails hin und her geschickt.Und dann ist am Ende das hier rausgekommen, wo dann auch irgendwie jetzt sozusagenkeiner mehr das Fass nochmal komplett aufmachen wollte.Der Trilog war sozusagen schon fertig und dann wurde diese Kröte geschluckt.Muss man nicht gut finden, überhaupt nicht. Und die Bundesregierung hat,glaube ich, schon entschieden, dass sie es auf jeden Fall enger ziehen will,wenn es überhaupt in Deutschland irgendwie Gesetzesgrundlage dafür geben wird.Und wir werden natürlich weiter dafür kämpfen, wenn das Ding mal wieder renoviertwird oder andere Gesetzesvorschläge kommen, die das irgendwie berühren könnten,dass das auf jeden Fall enger gezogen wird, ganz klar.Aber an dem Punkt jetzt den ganzen AI-Act scheitern zu lassen,war es uns auch nicht wert genug, weil da einfach so viele Sachen drin sind,die einfach jetzt mal gut sind, dass sie an den Start kommen.

Thomas Lohninger 1:53:07

Es war ja kurzzeitig so, dass es die Mehrheit im Rat in der Schwebe stand undwir beide haben uns ja genau zu der Zeit getroffen und du meintest,ob ich da irgendwie bei der österreichischen Justizministerin fragen würde.Ich bin mir bis heute nicht sicher, ob das Gesetzeswert wäre, gerettet zu werden.Aber um vielleicht auch da zum Abschluss zu kommen, würde mich von euch beidennoch interessieren, was mit diesem Gesetz denn jetzt wirklich so die prägnanteSache, der prägnante Missstand sein soll,den wir damit wirklich hoffentlich verbessern.Bei der DSGVO, was ja damals Facebook, da war die große Erwartungshaltung,dass wir damit endlich Facebook dazu bringen, mit personenbezogenen Daten besser umzugehen.Ich glaube, es ist sehr überschaubar, was wir damit wirklich geschafft haben,trotz aller guten Absichtsbekundungen damals. Wie ist es beim AI-Act?Also ist da jetzt Palantir zum Beispiel, müsste es da eigentlich Änderungenin der Realität geben mit diesem Gesetz, wo ihr sagt, da sollte wirklich sichetwas in der Praxis ändern oder auch die Schufa zum Beispiel.Also Kreditauskunft Hain ist da aus eurer Sicht, um es nochmal zu Ende ganz praktisch zu machen.Was erwartet ihr euch jetzt von dem AI-Act, an dem ihr so lange gearbeitet habt?

Arnika Zinke 1:54:25

Ich fange mal an. Also ich glaube, dass so ein bisschen das,was quasi immer unter diesem Begriff vertrauenswürdige KI,made in Europe, quasi gedacht wird, dem quasi ein bisschen ein Gesetz dahintergelegt wird, was das eigentlich bedeutet.Das heißt, welche konkreten Anforderungen haben wir an die zukünftigen KI-Systeme,die in Europa auf den Markt gebracht werden?Was sind sozusagen die Mindestanforderungen, die das erfüllen muss?Und das Gleiche für die Modelle. Also es ist quasi eine Mindestanforderung,ein bisschen eine Ausdeklinierung dessen, was wir quasi unter schönen Wortendie ganze Zeit erzählen, wie wir das gerne hätten.Und ein paar Systeme sind eben komplett verboten, aber es sind eben viel weniger,als wir eigentlich für notwendig gehalten hätten.Also es ist nicht der große Wurf,den sich manche erhofft hatten, aber ich glaube, wenn man sich das Gesetz anschautund auch wie das Gesetz gemacht ist,dann konnte dieses Gesetz auch nie diese Erwartungshaltung erfüllen,auch weil KI und automated decision making so viele Bereiche umfasst.Das geht eben von biometrischer Massenüberwachung bis KI-Systeme,die kreativ verwendet werden oder die sagen, zu welcher Schule du gehen sollst.Und den Bereich so groß zu spannen, heißt halt auch, man kann nicht ganz obenanfangen, sondern es ist quasi ein Minimalkonsens darüber, wie KI-Systeme inZukunft gemacht werden sollen.Aber gerade auch darauf basierend, welche KI-Systeme jetzt schon am Markt sind,ist es extrem schwierig zu sagen, weil auch da die Anforderungen ja auch vielspäter erst in Kraft treten werden.

Ralf Bendrath 1:56:04

Aber ganz konkret, wegen Palantir, wenn Palantir genutzt wird,um über individuelle Personen Vorhersagen zu machen, ob sie irgendwann mal eineStraftat begehen, dann muss das jetzt weg.Das ist nicht mehr erlaubt in Zukunft, so ganz konkret. Und es soll eben auch,wie gesagt, sowas wie diesen niederländischen Sozial-Social-Benefits-Skandalda irgendwie in Zukunft vermeiden, helfen.Eine Sache, die wir noch gar nicht erwähnt hatten, wo wir aber auch ziemlichdrauf stolz sind, ist, dass jetzt in Zukunft viele KI-Systeme,vor allem die Allzwecksysteme, auch Energiebilanzen offenlegen müssen.Das Zeug verbraucht ja unglaublich viel Strom und auch Wasser.Das muss jetzt offengelegt werden, mindestens für die General-Purpose-KIs. Da bin ich mal gespannt.Also Ökobilanzen und so haben wir jetzt auch drin. Auch einer unserer Erfolge.

Tim Pritlove 1:56:50

Das ist eine gute Regelung. Da bin ich auch gespannt, wie das ausgeht.Ob man das überhaupt so berechnet bekommt. Wahrscheinlich schon irgendwie.

Ralf Bendrath 1:56:57

Das kannst du einfach berechnen. Du hast irgendwie so viele Millionen Videokartenund guckst halt, was die dann Strom verbrauchen. Das ist nicht so schwer.

Tim Pritlove 1:57:05

Ja, ist klar. Gut, ich denke, den AI-Act-Teil können wir damit beschließen, oder?

Thomas Lohninger 1:57:13

Ich glaube auch, wenn es von eurer Seite nichts mehr gibt, dann,wir sind schon relativ lange, deswegen machen wir das jetzt vielleicht sehr kurz.Ich wollte nur nochmal so einen Ausblick auf die EU generell.Ihr sitzt ja auch weiter in Brüssel und seid da sehr nah dran und wir haben jetzt ein paar.

Ralf Bendrath 1:57:30

Wir sind mittendrin.

Thomas Lohninger 1:57:30

Genau, statt nur dabei und habe da ja auch wirklich auch, es heißt ja irgendwieso schön, dass das Herstellen von Würsten, von Sausages und das Gesetze machen,da will man nicht so genau wissen, wie es wirklich passiert und gleichzeitigist die EU auch gerade am Ende ihrer Legislaturperiode, im Juni sind Wahlen.Man hat auch, glaube ich, gesehen, dass ganz viele netzpolitische Themen dannam Ende an den Mehrheitsverhältnissen im Parlament und natürlich auch in dennationalen Regierungen hängen.Und ja, nach allen Vorhersagen wird es einen Rechtsrott geben im Europaparlament.Das heißt, es wird eine Mehrheit geben aus den Fraktionen ID,was AfD, FPÖ ist, ECR, also die europaskeptischen Konservativen bis Rechtsextreme in manchen Fällen.Und halt auch der Europäischen Volkspartei.Und das wird natürlich, glaube ich, dann auch so diese Schlagzahl der Gesetze,vor allem wenn es darum geht, Harmonisierungen durchzuführen.Wahrscheinlich reduzieren.Was manchmal vielleicht sogar ganz gut wäre, wenn man sich mehr Zeit nimmt fürdie Gesetze, schaut, dass man wirklich eine breite Mehrheit hat.Insgesamt ist mein Eindruck, auch wenn ich euch heute so zugehört habe,dass ganz viel am Zeitdruck liegt.Dass etwas unbedingt bis dahin fertig werden muss und dann sind halt irgendwiedrei Viertel der Leute schon auf Urlaub und Ralf muss irgendwie aus dem Ferienhausheraus dann das fertig verhandeln.Das kann es ja nicht sein. Also ich meine, wenn sich Europa ernst nimmt,dann muss man den Gesetzestext vor sich haben ausverhandelt und dann entscheiden,ob der eine Mehrheit hat.Also ganz oft tut einem das ja schon beim Zuhören und Zuschauen weh,wie dann wirklich diese Entscheidungen, wie stümperhaft diese Entscheidungen zustande kommen.Aber ja, wie geht es euch damit und wie schaut ihr jetzt so auf die Zeit nach der Wahl?

Ralf Bendrath 1:59:28

Vielleicht zu der ersten Frage, wie laufen sozusagen diese Trilogverhandlungen?Ist das wirklich immer so schlimm?Als wir die Datenschutz-Grundverordnung damals verhandelt haben,haben wir wirklich den Text vor uns gehabt. Der wurde auf meinem Laptop mitprotokolliert,je nach Verhandlungsstand.Und am Ende des letzten Triloges, das war auch so nachts um elf,aber immer noch eine halbwegs menschenwürdige Zeit, hatten wir einen fertigen Text.Text, der muss dann ein paar Mal noch horizontal angepasst werden,das haben wir dann noch kurz danach noch gemacht in meinem Büro und der konntedann direkt an die Mitgliedstaaten rausgehen und auch an alle Abgeordneten, die beteiligt waren.Das habe ich jetzt ein paar Mal erlebt, dass das nicht so gelaufen ist.Mal gucken, wie es morgen Nacht wird bei den Gesundheitsdaten,ob wir da einen finalen Text haben, da ist es zumindest ein bisschen besser,dass jetzt schon mal Textentwürfe vorher flottieren.Beim AI-Hack war es einfach wirklich chaotisch, wir hatten beim letzten Trilog,als der anfing, noch 22 Punkte offen, haben dann wirklich von Nachmittags umdrei die ganze Nacht durch bis zum nächsten Mittag um eins verhandelt,dann eine Pause gemacht,einmal schlafen können die Nacht dann und am Freitag um acht Uhr morgens ginges schon wieder weiter bis nach Mitternacht.Und da gab es dann einfach teilweise keine Texte. Ich habe von anderen Trilogengehört, wo es teilweise nur so Bullet-Point-Listen gab, auf was man sich jetztgeeinigt hat, wo dann die technische Ebene hinterher noch einen Monat beschäftigtwar, das auszuformulieren.Da hat, glaube ich, die Qualität echt ein bisschen gelitten in letzter Zeit, ist so mein Eindruck.Da gibt es aber jetzt auch schon eine Reaktion drauf und zumindest vom Parlamentaus gibt es jetzt offenbar Bestrebungen, ein interinstitutionelles Abkommenzu verhandeln mit dem Rat und der Kommission, wie genau so Triloge eigentlich geführt werden müssen.Weil das oft immer noch sehr informell ist, die sind ja auch in den Verträgen irgendwo vorgesehen.Ich bin trotzdem der Meinung, man braucht so einen geschützten Raum,wenn man sich auf irgendwelche Texte einigen will. Da muss man halt die Köpfezusammenstecken mit Ausschluss der Öffentlichkeit.Aber das braucht zumindest ein paar Regeln. Und da soll jetzt hoffentlich nachder Wahl mit den anderen Institutionen daran gearbeitet werden.

Thomas Lohninger 2:01:22

Annika, wie siehst du das?

Arnika Zinke 2:01:24

Ich glaube, das Problem war auch jetzt beim KI-Gesetz die einfache Unmenge anGesetzen, die jetzt noch verabschiedet werden sollten vor Ende der Legislaturperiode.Und die Angst, die halt irgendwo immer auch mitgeschwungen ist,ist, was, wenn wir dieses Gesetz eben nicht, dieses Mandat fertig kriegen.Was bedeutet das dann mit einem deutlich rechteren Parlament?Kriegen wir da noch die Punkte, die uns wirklich wichtig sind, durch?Und vor allem auch im Hinblick darauf, dass eben Ungarn auch die nächste Ratspräsidentschaftnach Belgien jetzt hat und damit dann viele von den Prioritäten,die wir hatten, was Menschenrechte betrifft, sehr unwahrscheinlich gewesen wären.Das heißt, es hätte sich noch weiter verzögert und dann wären wir im Jahr 2025gewesen, wo wir dann wieder angefangen hätten, an KI-Gesetzen zu arbeiten unddann sind wir halt auch keine Vorreiter mehr.Also dann hätten wir eigentlich vielleicht sogar das Gesetz nochmal komplettneu machen müssen. Also das ist halt immer mit geschwungen, aber ich gebe grundsätzlichrecht, dass die Tatsache, dass wir keinen finalen Text hatten,das war einfach unglaublich. Und wir haben auch wirklich drum gebettelt.Und das war einfach dann auch vielleicht der Zeit geschuldet,die wir da gesessen sind, ist dann einfach ausgerufen worden,dass es einen Deal gibt und dann haben sich halt auch Politiker mitreißen lassen.Diesen Deal einfach dann festzusetzen.Und ja, ich finde das auch super problematisch und ich hoffe auch,dass es in Zukunft besser läuft.Ich weiß auch, dass wir uns in dem Ausschuss, der sich eben mit den ganzen Prozessenbeschäftigt und den Rules of Procedure dafür einsetzen, dass es eben auch bessereRegeln in den Trilogen gibt, dass es auch etwas mehr Transparenz gibt.Also es muss nicht unbedingt einen Livestream geben, aber dass gewisse Dokumenteauch etwas transparenter sind.Und das hoffe ich mir für die Zukunft auch eben auch, um das Vertrauen in dieEU-Institutionen auch zu verbessern.Absolut.

Thomas Lohninger 2:03:09

Ich glaube, der Zugang zu Texten, ich meine, ich habe die ja dann oft über Kanäle,aber dass das nicht öffentlich ist, ist wirklich ein Unding.Was in Parlamenten diskutiert wird, sollte öffentlich sein.Und ein Vorschlag für diese Regeln, die ihr euch geben wollt,es würde schon sehr viel helfen, wenn Europaabgeordnete sich nicht bereit erklären,auf irgendwelchen Fotos mit der Kommission und der Ratspräsidentschaft zu sein,bis der Text wirklich ausverhandelt ist.Weil oft ist es so irgendwie das getwitterte Foto und jetzt sind wir fertigund dann stehen alle auf und glauben, dass sie wirklich fertig sind,auch wenn danach noch ganz viel wegverhandelt wird.Das haben wir leider ein paar Mal gesehen und das ist nur ein billiger Trick.Ich hoffe, das war heute trotzdem eine Sendung, die nicht nur traurig zurücklässt,sondern ein bisschen aufgezeigt hat.

Ralf Bendrath 2:03:57

Cyber, Cyber, alles gut.

Tim Pritlove 2:03:59

Aber jetzt will ich noch wissen, hilft euch denn AI sozusagen auch bei der Analysedieser ganzen Textvorschläge?Ich meine, ihr seid ja auch die ganze Zeit so in diesem Business mit,ihr kriegt so viel Text zugeschickt und permanent müsst ihr irgendwie verstehen,was da jetzt eigentlich mit gemeint ist.Kommt da sozusagen auch schon die LLM zum Einsatz oder macht ihr das alles noch von Hand?

Thomas Lohninger 2:04:23

Welcher Teil von May I Act wurde von ChatGPT geschrieben?

Arnika Zinke 2:04:25

Also ich kann sagen, das einzige Mal, wo ich in meinem Leben Chachapiti verwendethabe, um mit meinem Freund zu brainstormen, welche Hundenamen wir uns überlegen möchten.Ich schwöre. Also wir haben alle Texte selber gelesen und selber analysiertund es waren sehr, sehr viele Texte.Aber die Versuchung ist natürlich groß, aber es spielt eigentlich nicht wirklicheine Rolle, weil gerade diese Texte so spezifisch sind und so technisch und so kontextbasiert,dass es schwierig wäre und ich finde auch ethisch problematisch,das durch irgendeine KI zu jagen.

Tim Pritlove 2:05:01

Ja, okay.Man kann es ja auch...Ganz praktisch sehen, einfach als Tool, also ich gebe zu,dass jetzt zum Beispiel auch gemacht zu haben, ich nehme mir so einen kompletten Text,den ich jetzt, wenn ich den lesen würde, ohnehin nicht verstehen würde,weil mir einfach das juristische Modell dafür fehlt und die Dingertaugung sicherlichfür vieles nicht, aber dieses Text zusammenfassen, das kriegen die schon irgendwie ganz gut hin.Und dann kann man halt zumindest schon mal reinstochern und sagen so,wird da etwas erwähnt zu dem und dem und so weiter und das ja,das sind schon mal ganz hilfreiche Ansätze für mich, aber dass ihr das professionellerhandhabt, daran habe ich keinen Zweifel.

Ralf Bendrath 2:05:43

Word und solche Software kann ja Auto-Summarize schon länger,da brauchst du keinen Chatbot für.Aber unser Job ist halt leider nicht nur die Zusammenfassung zu machen,sondern das Ding im Detail zu lesen und zu verstehen und umzuschreiben,da kommt einfach kein Weg dran vorbei.

Tim Pritlove 2:05:57

Na klar. Na gut, dafür seid ihr ja auch hier die Profis.Vielen, vielen Dank für eure Ausführungen und natürlich auch für eure Arbeit an den Gesetzeswerken.Das ist ja mit wenig Urlaub gesegnet, wie wir gerade gehört haben.Und ja, das ist ja eine Entbehrung. Dann kriegst du vielleicht den nächstenneuen Eintrag, Annika, auch bei der IMDB, wenn du dann wieder in Hollywood-Fußstapfen steigst.

Arnika Zinke 2:06:27

Ja, danke euch für die Einladung.

Thomas Lohninger 2:06:29

Danke auch von meiner Seite und bitte weitermachen und bis zum nächsten Mal.

Tim Pritlove 2:06:35

Danke. Alles klar, das war's heute vom Logbuch Netzpolitik.Bald geht's wieder weiter, dann vielleicht auch wieder mit Linus.Wir sagen tschüss und bis bald.

Shownotes

Product Liability Directive

Cyber Resilience Act

Platform Workers Directive

netzpolitik.org: Auf letzten Metern abgespeckt: EU beschließt doch noch Gesetz zu Plattformarbeit
Procedure file

European Health Data Space

netzpolitik.org: Offener Brief zum EHDS: „Grundrechte der europäischen Patient:innen wahren“
epicenter.works: Gesundheitsdaten: ELGA-Opt-Out muss erhalten bleiben – epicenter.works
Procedure file

AI Act

euractiv.com: EU countries give crucial nod to first-of-a-kind Artificial Intelligence law – Euractiv
europarl.europa.eu: TITEL NICHT GEFUNDEN
en.wikipedia.org: British Post Office scandal – Wikipedia
politico.eu: Dutch scandal serves as a warning for Europe over risks of using algorithms – POLITICO

25 Kommentare zu „LNP486 Das fünfte Element“

Z3r0 schrieb am 14. März 2024 um 14:32 Uhr:

Arnika oder Annika?

Antworten ↓
- Ralf Bendrath schrieb am 15. März 2024 um 03:55 Uhr:
  
  Arnika
  
  Antworten ↓
YakYak schrieb am 15. März 2024 um 04:04 Uhr:

Sehr geehrter Herr Neumann,

32:50 die Beendigung Ihres Vertrages ist in Gefahr! Handeln Sie jetzt!
Ich seh es schon kommen. <3 Liebe Euch

Antworten ↓
Alessa schrieb am 15. März 2024 um 15:25 Uhr:

Der Abschnitt ist im Audio enthalten, fehlt aber in Transkript völlig, 30 Sekunden von 37:20 bis 37:50 zwischen Tims „Sind die da nicht alle selbstständig?“ und Thomas’ „Auf jeden Fall gut.“ im Transkript oben:

Entweder verstehe ich die Aussage von Thomas trotz Kontext und mehrmaligem Anhören völlig falsch oder sie verweist auf ein fehlendes Grundverständnis von Selbstständigkeit: Auch wenn das Format Anstellung gewisse Vorteile bietet, sind viele Selbstständige gern und absichtlich selbstständig und möchten ganz bewusst auch NICHT angestellt sein.

Die Plattformrichtlinie explizit auch für Selbstständige, die bisher, wie er richtig eingeordnet hat, ständig in die Röhre gucken, jetzt als Gewinn zu bezeichnen, ist völlig absurd. Der „bessere Status“ bestünde ja darin, ggf. unbeabsichtigt in eine Anstellung gezwängt zu werden. In der Praxis läuft das dann EU-weit darauf eher hinaus, als selbstständige Person ganz real Aufträge zu verlieren, weil die Rechtsunsicherheit erhöht wird.

Letzteres ist bisher in Deutschland schon lange durch die unsichere Rechtslage rings um das Thema Scheinselbstständigkeit im weiteren Sinne der Fall: Aufträge werden etwa per se nicht an Soloselbstständige verteilt, weil Auftraggeber die Angst haben, dass der Auftrag nachträgliche Kosten birgt, falls der*die Auftragnehmer*in als arbeitnehmerähnliche Person oder scheinselbstständig eingestuft wird und dann entsprechend Lohnnebenkosten etc. pp. und ggf. Strafen nachgezahlt werden dürfen.

Der VGSD hat sowohl schon länger zum Problem der Rechtsunsicherheit rund um Scheinselbstständigkeit etc. als auch kürzlich zur Plattformrichtlinie gearbeitet. Details also gern dort nachlesen, ich bin persönlich zumindest von der Plattformrichtlinie voraussichtlich nicht betroffen und habe mich daher nicht so stark darin vertieft.

Antworten ↓
- Tim Pritlove schrieb am 15. März 2024 um 15:38 Uhr:
  
  Der Abschnitt ist im Audio enthalten, fehlt aber in Transkript völlig, 30 Sekunden von 37:20 bis 37:50 zwischen Tims „Sind die da nicht alle selbstständig?“ und Thomas’ „Auf jeden Fall gut.“ im Transkript oben:
  
  Oh in der Tat. Danke für den Hinweis, ich werde mal nachforschen, was da schief gegangen ist.
  
  Antworten ↓
norceN schrieb am 15. März 2024 um 18:01 Uhr:

Hey,
bin noch nicht ganz durch mitm hören. Wird bestimmt gut.. :)
Darf ich erfahren wo das Folgenbild her kommt, und gibt es dieses evtl.
in HD?

Grüße

norceN

Antworten ↓
- Tim Pritlove schrieb am 15. März 2024 um 18:30 Uhr:
  
  AI-generiertes Bild. Einfach draufklicken, dann kommt es in hoher Auflösung.
  
  Antworten ↓
Otrang schrieb am 15. März 2024 um 22:49 Uhr:

Inhaltlich super! Aber Annikas „ähms“ kann ich leider nicht ausblenden! Da gönn ich mir glatt mal das Transkript.

Antworten ↓
maik schrieb am 16. März 2024 um 15:33 Uhr:

Ein wenig Kritik: Die Aktuelle Folge eures Podcasts, ist leider sehr Anstrengend zum Zuhören. Gefühlt kommt nach jedem zweiten Wort eurer Gäste ein äh oder äm. Das macht es extrem schwer, zumindest für mich, den Podcast zu hören. Sorry.

Antworten ↓
- Ralf Bendrath schrieb am 17. März 2024 um 01:33 Uhr:
  
  Naja, so oft kam es jetzt auch nicht, aber ich verstehe den Punkt. In meinem Fall lag es oft daran, dass ich in Echtzeit vom englischen Verhandlungstext ins Deutsche übersetzen musste. Sorry.
  
  Antworten ↓
  - maik schrieb am 17. März 2024 um 06:04 Uhr:
    
    Ist jetzt ja auch meckern auf hohem Niveau. Vielleicht war ich auch ein wenig empfindlich als ich mir den Podcast angehört habe.
    Macht weiter so, freue mich immer auf eine neue Folge.
    
    Antworten ↓
Lars schrieb am 17. März 2024 um 08:33 Uhr:

Wenn Enthaltungen als Nein-Stimmen zählen ist doch eigentlich das Abstimmungsverfahren fehlerhaft? Eine Enthaltung sollte eine neutrale Position sein, d.h. alle Enthaltungen sollten rausgerechnet bzw. der Mehrheit unter den restlichen Teilnehmer zugeschlagen werden.

Antworten ↓
- Ralf Bendrath schrieb am 25. März 2024 um 05:23 Uhr:
  
  Das ist die Rechtslage in den EU-Verträgen. Die Idee dahinter ist, dass EU-weite Gesetze auch von hinreichend viel Teilen der EU auch positiv beschieden werden sollten.
  
  Antworten ↓
Ein bisschen Kritik schrieb am 17. März 2024 um 13:44 Uhr:

Krass, dass sich hier Leute ernsthaft an den ähhs stören statt an der m. E. erneut inhaltlich verbesserungswürdigen Vorbereitung der Gastgeber (beispielhaft zB die wiederholte Ignoranz zwischen Gesetz und Richtlinie zu unterscheiden). Auch kommt die EU als Institution wieder fast ein bisschen populistisch angehaucht verallgemeinert schlecht weg. Ich würde da wirklich anregen evtl weniger Sendungen/Themen aber dafür mehr inhaltliche Vorbereitung anregen. Oder halt solche Sendungen nicht ohne Linus machen.

Antworten ↓
Harry V 1.0 schrieb am 18. März 2024 um 09:54 Uhr:

Eine tolle Idee die Themen mit Expertinnen aus dem EU Geschäft anzureichern. Entweder waren es aber Themen die nicht zum Experten gepasst haben oder umgekehrt. Wenn sich an vielen Stellen zeigt, dass auf spannende Fragen keine passenden Antworten gegeben werden können, dann ist das sehr anstrengend und unbefriedigend beim Zuhören. Vielleicht wäre eine fokussiertere Auswahl zu den Spezialgebieten der Gäste doch sinnvoller gewesen.

Antworten ↓
- kilosierra schrieb am 18. März 2024 um 11:06 Uhr:
  
  Ah, vielen Dank. Dann ging nicht nur mir das so. Das Interview lies mich doch etwas ratlos zurück. Für jemanden, der weder in der IT noch im aktivistischen Umfeld unterwegs ist blieben ganz eigenartige Erkenntnisse hängen:
  – bei Gesetzesinitiativen im EU-Parlament ist es wichtig, dass „die Anderen“ nicht die Hand an den Prozess bekommen; die Prozesshoheit scheint wichtiger für das inhaltliche Ergebnis zu sein, als inhaltliche Verhandlungen/Abstimmungen/Fakten
  – so richtig wissen wir gar nicht, was genau wir jetzt regeln wollen und wie es dann umgesetzt werden sollten
  – eine neue Behörde und ein neues Gesetz werden schon dafür sorgen, dass alles gut wird
  Was mir komplett gefehlt hat (und bei Tims Frage zum Post Office Skandal hat man das mMn am deutlichsten gemerkt), ist ein praktisches Szenario. Startup XYZ will mit einer Software in den Markt die möglicherweise die Datenbasis von ClearviewAI nutzt. Was passiert jetzt, welche Konsequenzen kann es haben und wie werden diese durchgesetzt?
  
  Antworten ↓
Jonas schrieb am 18. März 2024 um 16:21 Uhr:

Und jetzt zur wichtigsten Frage: Wo ist das Outtro hin?

Antworten ↓
A schrieb am 18. März 2024 um 16:47 Uhr:

Etwas komisch, dass die Gäste dieses Mal wiederholt nicht wirklich mit Detailwissen zu den besprochenen Gesetzen punkten konnten, sondern selbst auch nur eine Zusammenfassung des Themas kannten.

Das wiederholte Schießen gegen andere Parteien (FDP, selten SPD) ist mir auch als etwas unpassend aufgefallen, wenn man berücksichtigt, dass beide für die Grünen arbeiten und diese natürlich nicht kritisiert wurden. Die Kritik zB an der Bundesregierung war zufällig immer nur gegen SPD und FDP gerichtet…

Antworten ↓
Daniel schrieb am 21. März 2024 um 02:00 Uhr:

Dass die geladenen Experten immer zu den genau spannenden Fragen von Tim keine Antwort parat haben und selbst erst mal suchen müssen finde ich schon besorgniserregend. Weil genau mit solchen konkreten Fragen steht und fällt die Sinnhaftigkeit der neuen Regelungen.

Antworten ↓
Markus schrieb am 21. März 2024 um 12:10 Uhr:

Hola,
keine Ahnung warum, aber iCatcher! lädt seit dieser Episode eure Folgen nicht mehr herunter.
LNP485 geht, aber 486+487 nicht.

Hält mich zwar nicht auf, die Folgen zu hören, wäre trotzdem schön, wenn es eine Lösung mit iCatcher! gäbe

Saludos

Antworten ↓
- Tim Pritlove schrieb am 21. März 2024 um 12:30 Uhr:
  
  Gerade mal getestet. Funktioniert für mich. Vielleicht mal neu installieren?
  
  Antworten ↓
  - Markus schrieb am 26. März 2024 um 11:00 Uhr:
    
    Danke für die schnelle Rückmeldung.
    Ich habe iCatcher! neu installiert und alle Podcasts der Metaebene sind wieder am Start.
    Dafür hat iCatcher! die Folgenlisten in diversen anderen Podcasts im Backup kaputt gemacht…
    Das Problem ist also meine App
    
    Antworten ↓
- Andre schrieb am 21. März 2024 um 19:17 Uhr:
  
  Da gab es neulich (vor 6 Tagen, laut AppStore) ein Update auf 8.2.1 was genau den Bug behebt. Quelle: Ich hatte den Fehler auch hier und bei Blathering, mit dem Update ging es aber.
  
  Antworten ↓
Leonie schrieb am 23. März 2024 um 11:52 Uhr:

Moin! Ralfs Stimme war lauter als der Rest, das hat echt gestört. Auch ansonsten kam die Folge nicht so recht auf den Punkt und eierte mehr oder weniger die ganze Zeit herum. Vielleicht die falschen Gäste?

Liebe Grüße! Danke, trotz aller Kritik – ich warte immer sehnsüchtig auf die nächste Folge.

Antworten ↓
Klaus Pforr schrieb am 18. Mai 2024 um 20:20 Uhr:

Die Kritik von Ralf Bendrath an den Interessen der Forschung und Statistik an digitalisierten Gesundheitsdaten macht mich fassungslos. Hier das Zitat aus dem Transkript: „Dann wollen sie aber auch noch alle möglichen Research, medizinische Produktentwicklungmedizinische Geräteentwicklung also die haben sie bisher auch so entwickeln können ohne dass man von allen Patienten die Daten abgegriffen hat und das letzte ist auch Statistiken.Nationale, multinationale und EU-Level offizielle Statistiken ich meine Statistikerkönnen seit über 100 Jahren mit unvollständigen Datensätzen umgehen,das ist deren Job da dann irgendwie die Bias so rauszurechnen,Ja, so sieht es aus.“ Wie kann man so unkommentiert stehen lassen? Erstens wird ohne solche Daten klar natürlich immer noch nicht geforscht, aber eben nicht das, wofür solche Daten unabdinglich sind. Es gibt in der Medizin tonnenweise statistischen Schrott, das dürfte mittlerweile auch landläufig bekannt sein. Bei manchen Fragestellungen können digitalisierte Daten Abhilfe schaffen. Und der Punkt, das die Statistik seit über 100 Jahren mit unvollständigen Daten umgeht, ist unglaublicher Quatsch. Klar, die Statistik arbeitet ewig daran, aber wer sich auch nur ein bisschen damit auskennt, weiss, dass es hier immer wieder Grenzen des Machbaren, also des alleine mit statistischen Schätztricks Behebbaren gibt. Ohne gute Daten geht einfach herzlich wenig. Ich kann nicht verstehen, dass Ihr das so stehen lasst. Das heisst nicht, dass der Datenschutz deshalb nachrangig ist, aber man kann doch diese Einwände als Quatsch abtun. Ladet Euch doch mal eine*n Experten*in ein (Rainer Schnell, Frauke Kreuter), der*die dazu nochmal was gescheites zu sagen kann.

Antworten ↓