Tim Pritlove: Guten Morgen Thomas.
Thomas Lohninger: Guten Morgen Tim.
Tim Pritlove: Sag mal, wie ist eigentlich das Wetter in Brüssel?
Thomas Lohninger: Das muss noch abgestimmt werden. Wir haben noch kein Tredo-Gergebnis.
Tim Pritlove: Logbuch Netzpolitik Nummer 486 vom 13. März 2024. 2024.
Tim Pritlove: Und ja, den Linus, den habe ich mal kurz weggeschickt, damit wir hier uns mal
Tim Pritlove: um die seriösen Themen kümmern können.
Tim Pritlove: Und begrüßen natürlich erstmal Thomas. Habt ihr schon gehört? Hallo Thomas.
Thomas Lohninger: Hallo. Genau.
Tim Pritlove: Und heute haben wir eine große Runde, nämlich eine große EU-Runde und begrüßen
Tim Pritlove: außerdem noch den Ralf, Ralf Benrath. Hallo.
Ralf Bendrath: Hallo.
Tim Pritlove: Hallo, du warst ja schon mal bei uns und ganz frisch neu mit dabei,
Tim Pritlove: grüße ich auch noch die Annika, hallo.
Arnika Zinke: Hallo, servus.
Tim Pritlove: Ja, Annika, Annika Zinke, fangen wir doch mal mit dir kurz an.
Tim Pritlove: Stell dich doch mal bitte kurz vor, dass wir mal wissen, was du so machst und was dich zu uns führt.
Arnika Zinke: Ja, hallo, freut mich sehr dabei zu sein. Genau, also ich bin Annika,
Arnika Zinke: ich komme ursprünglich aus Wien.
Arnika Zinke: Also jetzt haben wir heute zwei Quoten Österreicher quasi im Podcast.
Arnika Zinke: Das kommt wahrscheinlich auch nicht so oft vor. Genau, ich war ursprünglich
Arnika Zinke: Journalistin in Wien und bin dann über Umwege in Brüssel gelandet.
Arnika Zinke: War dann bei Alexandra Gese als Praktikantin im Office und habe dort auch begonnen,
Arnika Zinke: an Digital Services Act zu arbeiten.
Arnika Zinke: Und bin dann in die Fraktion gewechselt, vor zweieinhalb Jahren in der Fraktion
Arnika Zinke: der Grünen und war dort zuerst Beraterin für horizontale Digital-Koordinierung.
Arnika Zinke: Das heißt quasi über die verschiedenen Ausschüsse übergreifend alles,
Arnika Zinke: was Digitalpolitik trifft, zu
Arnika Zinke: koordinieren und im Rahmen dessen auch recht stark KI-Gesetz gearbeitet,
Arnika Zinke: weil das natürlich über sehr viele verschiedene Ausschüsse drübergegangen ist,
Arnika Zinke: weil das ein Thema ist, das nicht unbedingt in einen Ausschuss gut reinpasst.
Arnika Zinke: Und bin seit gut einem Jahr jetzt im Binnenmarktausschuss, was einer der zwei
Arnika Zinke: federführenden Ausschüsse im KI-Gesetz auch ist, über das wir heute noch sprechen werden.
Arnika Zinke: Genau, und habe aber unter anderem auch an anderen Files gearbeitet,
Arnika Zinke: wie zum Beispiel im European Media Freedom Act, der heute auch im Plenum abgestimmt wurde.
Arnika Zinke: Im Cyber Resilience Act habe ich auch ein bisschen mitgearbeitet.
Arnika Zinke: Genau, also alles, was quasi Digitalpolitik betrifft und Binnenmarkt irgendwie
Arnika Zinke: betrifft, fällt in meinen Ressort.
Tim Pritlove: Was war denn so uninteressant am Journalismus, dass du die Politik gewechselt bist?
Arnika Zinke: Es war nicht unbedingt uninteressant, aber zum einen, wie es für viel bewusst
Arnika Zinke: ist, ist der Journalismus ein recht prekäres Arbeitsumfeld.
Arnika Zinke: Das war also einer der Hauptgründe. Und der andere Grund war auch,
Arnika Zinke: dass dadurch, dass wir sehr viel online gearbeitet haben,
Arnika Zinke: ich großes Interesse daran hatte, besser nachzuvollziehen, beziehungsweise mehr
Arnika Zinke: daran zu arbeiten, wie Plattformen eigentlich Inhalte verbreiten,
Arnika Zinke: verbreiten, mehr Richtung eben Empfehlungsalgorithmen zu arbeiten.
Arnika Zinke: Und deswegen habe ich dann auch, ja, war ich sehr interessiert,
Arnika Zinke: am Digital Services Act zu arbeiten, habe dazu auch meine zwei Masterarbeiten geschrieben.
Arnika Zinke: Also die Digitalpolitik hat mich im Rahmen meiner journalistischen Karriere
Arnika Zinke: quasi immer mehr begleitet, sodass ich dann so interessiert daran war,
Arnika Zinke: dass ich mir dachte, okay, ich möchte hauptberuflich daran arbeiten.
Tim Pritlove: Okay. Masterarbeit in was?
Arnika Zinke: Also es waren zwei zum Digital Services Act, weil ich habe dann schon nicht genug davon bekommen.
Arnika Zinke: Also beim einen ging es darum, wie Initiativberichte im EU-Parlament,
Arnika Zinke: ob die eine Auswirkung auf die Kommissionsvorschläge haben können.
Arnika Zinke: Und das habe ich im Rahmen des Digital Services Act gemacht.
Arnika Zinke: Und bei dem anderen ging es mehr um Empfehlungsalgorithmen und wie die Digital
Arnika Zinke: Services Act reguliert werden.
Tim Pritlove: Und das war dann für Politikwissenschaft?
Arnika Zinke: Genau, Politikwissenschaften und internationale Beziehungen.
Tim Pritlove: Okay.
Thomas Lohninger: Wir haben heute ja sehr viele EU-Themen. Da können wir gleich einsteigen.
Thomas Lohninger: Ein Initiativbericht, weil das ist auch ein Begriff, der gerade gefallen ist.
Thomas Lohninger: Das sind einfach nicht bindende Resolutionen, könnte man sagen,
Thomas Lohninger: die das Parlament erlässt.
Thomas Lohninger: Also das sind fast die einzige Sache, die das Europaparlament von sich aus machen
Thomas Lohninger: kann und initiieren kann, die halt zur Meinungsbildung dienen sollen.
Thomas Lohninger: Was hat denn deine Masterarbeit ergeben? Haben sie einen Impact gehabt?
Arnika Zinke: Genau, es ist so, dass das Parlament ja kein Vorschlagsrecht hat,
Arnika Zinke: im Gegensatz zur Kommission, die die Gesetze ja vorschlagen darf.
Arnika Zinke: Und von allein hat am Anfang ihres Mandats
Arnika Zinke: angekündigt, dass sie die Initiativberichte mehr ernst nehmen wird.
Arnika Zinke: Und das, was meine Forschung ergeben hat, ist, dass es zwar...
Arnika Zinke: In der Theorie nicht übernommen werden muss, in der Praxis es aber schon der
Arnika Zinke: Kommission etwas bringt, wenn die Mehrheiten in den Initiativberichten geformt
Arnika Zinke: werden, auch berücksichtigt werden im Vorschlag.
Arnika Zinke: Das heißt natürlich, wenn man möchte, dass der Vorschlag in irgendeiner Weise
Arnika Zinke: Erfolg hat, ist es nicht dumm, sich anzusehen, wie Mehrheiten im Parlament gebildet werden.
Arnika Zinke: Und natürlich, wenn das Parlament dann genau zu einem bestimmten Bereich etwas
Arnika Zinke: veröffentlicht, dann schon einen Einfluss.
Arnika Zinke: Aber grundsätzlich ist es halt schon so, dass viele von den Initiativberichten
Arnika Zinke: auch nicht, vor allem Initiativberichte, die jetzt nicht unbedingt auf ein Gesetz
Arnika Zinke: spezifisch ausgerichtet sind, nicht unbedingt den Erfolg haben,
Arnika Zinke: den sich manche Politiker inne erhoffen.
Arnika Zinke: Also man muss da schon auch ein bisschen differenzieren und es ist nicht so,
Arnika Zinke: dass jeder Initiativbericht mit dem Strichpunkt übernommen worden ist.
Arnika Zinke: Aber gerade beim Digital Services Act, was ja auch ein sehr großes Gesetz war,
Arnika Zinke: war das ein bisschen anders, würde ich sagen.
Arnika Zinke: Aber vielleicht mal greife ich noch, was zu sagen, weil Ralf schon länger im Parlament ist als ich.
Tim Pritlove: Ja, genau, Ralf, sag doch mal was. Du darfst dich auch noch mal vorstellen.
Ralf Bendrath: Ja, danke auch noch mal für die Einladung. Ich bin, genau wie Annika,
Ralf Bendrath: Fraktionsreferent der Grünen-EFA-Fraktion im Europäischen Parlament.
Ralf Bendrath: Ich bin für den Ausschuss für Bürgerliche Freiheiten, Justiz und Inneres zuständig
Ralf Bendrath: und mache da vor allem Datenschutz.
Ralf Bendrath: Das ist der Ausschuss, der auch federführend für Datenschutz zuständig ist.
Ralf Bendrath: Nebenbei aber alles, was an anderen Digitalsachen so anfällt,
Ralf Bendrath: inklusive auch Polizeiinformationsaustausch, polizeiliche und justizielle Zusammenarbeit und solche Sachen.
Ralf Bendrath: Ich mache aber inzwischen relativ viel auch ausschussüberschreitende Arbeit,
Ralf Bendrath: weil jetzt inzwischen die Kollegen alle mitgeschnitten haben,
Ralf Bendrath: dass ich hier der Onkel Ralf von der DSGVO bin.
Ralf Bendrath: Ich habe früher für den Berichterstatter Jan-Philipp Albrecht bearbeitet,
Ralf Bendrath: als das Ding verhandelt wurde und habe seitdem sogar einen IMDb-Eintrag.
Ralf Bendrath: Und jetzt kommen die Kollegen immer und haben irgendwas zu europäischer Sozialversicherungskarte
Ralf Bendrath: im Beschäftigungsausschuss oder zu Veröffentlichung von Agrarzuschüssen im Agrarausschuss
Ralf Bendrath: oder zu irgendwelchen anderen Themen,
Ralf Bendrath: wo es irgendwie dann auch Datenschutzfragen plötzlich gibt.
Ralf Bendrath: Ich gehe jetzt zum Financial Information Access Geschichte, Finanzdatenraum
Ralf Bendrath: und komme immer, Ralf, kannst du hier mal drüber gucken?
Ralf Bendrath: Und das ist ganz, bis zur Fischerei ging das schon. Das ist irgendwie ganz lustig
Ralf Bendrath: manchmal. Dann lernt man auch viel über den Tellerrand hinaus.
Ralf Bendrath: Ja, und ich habe jetzt die Freude gehabt, mit Arne quasi die letzten,
Ralf Bendrath: weiß nicht, drei Jahre oder so zusammenzuarbeiten am KI-Gesetz,
Ralf Bendrath: am Artificial Intelligence Act, weil...
Ralf Bendrath: Ja, da kommen wir später zu. Die Details dazu spreche ich mir für nachher.
Ralf Bendrath: Aber warum das ein gemeinsames Ausschussverfahren mit dem Binnenmarkt und dem
Ralf Bendrath: Innenausschuss war, das war eine lustige Geschichte.
Ralf Bendrath: Es gibt noch Axel Voss-Witze später.
Tim Pritlove: Das sind immer die besten. Und hast du auch schon einen Initiativbericht mal angestoßen?
Ralf Bendrath: Angestoßen selber nicht.
Ralf Bendrath: Verdoppelt. Wie viel davon jetzt in der KI- Verordnung im IAI-Act gelandet ist,
Ralf Bendrath: ich glaube ehrlich gesagt gar nicht so viel, weil die Kommission da einen sehr
Ralf Bendrath: strikten Rahmen gesetzt hat, aber da gehen wir später noch an die Details.
Tim Pritlove: Nur mal um so ein Gefühl dafür zu bekommen, weil ich habe diesen Begriff Initiativbericht
Tim Pritlove: ehrlich gesagt noch nie gehört, aber wie viele werden denn da so pro Jahr von gemacht?
Tim Pritlove: Ist das so ab und zu mal einer oder passiert das am laufenden Meter?
Ralf Bendrath: Nee, das passiert viel viel am Anfang der Legislaturperiode,
Ralf Bendrath: wenn die neue Kommission erst anfängt, ihr Arbeitsprogramm abzuarbeiten und
Ralf Bendrath: bis dann die ersten Gesetzesvorschläge kommen, dauert es meistens eine Weile
Ralf Bendrath: und dann sind die Leute noch übermotiviert und wollen selber was machen.
Tim Pritlove: Hast du so Beschäftigungstherapie fürs Parlament?
Ralf Bendrath: So ein bisschen. Die Abgeordneten wollen mal irgendwas sagen,
Ralf Bendrath: ohne dass es gleich ein Gesetz ist und dann schreibt man halt so einen Initiativbericht.
Ralf Bendrath: Das ist quotiert. Das können nicht beliebig viele werden.
Ralf Bendrath: Ich weiß nicht, ob das in allen Ausschüssen so ist. Bei uns im Innenausschuss
Ralf Bendrath: ist es so, dass dass, glaube ich, parallel immer nur sechs gleichzeitig verhandelt werden dürfen?
Arnika Zinke: Ich glaube, die Kapazität hätten wir gar nicht, sechs gleichzeitig zu verhandeln.
Arnika Zinke: Also ich glaube, daran scheitert es schon, aber normalerweise kann man die vorschlagen
Arnika Zinke: und das ist in der Menge begrenzt.
Arnika Zinke: Aber wir hatten zum Beispiel im Binnenmarktausschuss gegen Ende noch einen sehr erfolgreichen,
Arnika Zinke: Initiativbericht zu Addictive Design, also Abhängigkeit machendem Design,
Arnika Zinke: sein, hört sich in Deutsch nicht so gut an, wo wir das Feedback auch von der
Arnika Zinke: Kommission bekommen haben, dass das eins der Top-Themen ist,
Arnika Zinke: an dem die jetzt auch für die nächste Legislaturperiode arbeiten.
Arnika Zinke: Also es kommt auch ein bisschen darauf an, in welcher, ob man quasi so ein bisschen
Arnika Zinke: das Gefühl hat, in die richtige Richtung quasi zu stechen mit dem Thema.
Ralf Bendrath: Also Initiativberichte sind so ein bisschen strikter reguliert.
Ralf Bendrath: Die müssen von der Konferenz der Fraktionsvorsitzenden bewilligt werden.
Ralf Bendrath: Wie gesagt, es darf nur sechs parallel laufen, zumindest in meinem Ausschuss.
Ralf Bendrath: Andere Ausschüsse können aber noch eine Beteiligung einfordern und dazu noch
Ralf Bendrath: Opinions machen, die dann irgendwie berücksichtigt werden müssen oder auch nicht.
Ralf Bendrath: Das ist ein bisschen mühsam. In meinem Ausschuss ist es eher so,
Ralf Bendrath: wenn wir irgendwie eine Stellungnahme raushauen wollen, dann machen wir eine Resolution.
Ralf Bendrath: Die wird einfacher verhandelt, die muss nicht genehmigt werden.
Ralf Bendrath: Da gibt es auch keine anderen Ausschüsse, die mit reinquatschen wollen.
Ralf Bendrath: Und die wird dann quasi vom Liebeausschuss, also Civil Liberties,
Ralf Bendrath: Justice, Non-Fers, direkt im Plenum getabelt. Und dann ist sie meistens nach
Ralf Bendrath: einem Monat schon durch.
Tim Pritlove: Verstehe. Es gibt also sozusagen auch noch kleinere Einheiten von Schlussfassungen.
Ralf Bendrath: Ich entdecke nach 15 Jahren hier immer noch Sachen in der Geschäftsordnung,
Ralf Bendrath: die ich bisher noch nicht kannte.
Tim Pritlove: Na gut, aber wir wollen uns ja heute nicht so sehr mit der Bürokratie an sich beschäftigen,
Tim Pritlove: sondern mal konkret reinschauen, was derzeit denn eigentlich so alles in der
Tim Pritlove: Pipeline ist, beziehungsweise jetzt gerade beschlossen worden ist oder unmittelbar
Tim Pritlove: vor dem Beschluss steht, unter anderem den AI-Act.
Tim Pritlove: Aber du, Ralf, hast ja noch ein paar andere Themen auch noch,
Tim Pritlove: die du mitgebracht hast.
Ralf Bendrath: Ja, das ist so ein bisschen eine Digitalwoche hier im Plenum gerade.
Ralf Bendrath: Deswegen ist Annika ja auch gerade in Straßburg, weil gerade Plenarsitzung des
Ralf Bendrath: Europäischen Parlaments in Straßburg ist.
Ralf Bendrath: Und zwei, was heißt kleinere, die nicht so viel Aufsehen erregt haben,
Ralf Bendrath: Sachen sind mir hier noch aufgefallen.
Ralf Bendrath: Das ist einmal die Produkthaftungsrichtlinie, die revidiert wurde und der Cyber Resilience Act.
Ralf Bendrath: Und die führen beide Sachen ein, für die wir damals mit Jan-Philipp Albrecht
Ralf Bendrath: noch und so schon seit teilweise zehn Jahren gekämpft haben.
Ralf Bendrath: Wo man also auch mal schön sehen kann, Politik ist manchmal echt das langsame Bohren dicker Bretter.
Ralf Bendrath: Als wir damals angefangen haben, mit Jan-Philipp Albrecht uns um Produktsicherheit,
Ralf Bendrath: also Quatsch, IT-Sicherheit mal zu kümmern, kam man ziemlich schnell drauf,
Ralf Bendrath: auch natürlich durch Gespräche mit Linus und anderen vom CCC und so.
Ralf Bendrath: Es gibt keine guten Anreizstrukturen bisher für die Hersteller,
Ralf Bendrath: sich ernsthaft um IT-Sicherheit zu kümmern.
Ralf Bendrath: Es gibt keine Produkthaftung für Software, es gibt keine Verpflichtung,
Ralf Bendrath: Sicherheitsupdates zu liefern oder irgendwas.
Ralf Bendrath: Software kommt immer mit dieser allgemeinen Terms of Service zum Anklicken,
Ralf Bendrath: ich akzeptiere die Software so, wie sie ist.
Ralf Bendrath: Und keiner ist verantwortlich. Das hat sich jetzt geändert, nach diesen zehn
Ralf Bendrath: Jahren oder wie lange da andere Leute schon drüber nachgedacht haben.
Ralf Bendrath: Und das eine ist die Product Liability Directive, die Produkthaftungsrichtlinie,
Ralf Bendrath: die gibt es schon ewig, die ist dieses Jahr 39 geworden,
Ralf Bendrath: wurde 1999 mal kurz ein bisschen gänzt, um landwirtschaftliche und Fischereiprodukte mit abzudecken.
Ralf Bendrath: Und sie sagt im Prinzip, wenn du ein schadhaftes Produkt verkaufst und Leute
Ralf Bendrath: nehmen deswegen Schaden daran, das kann auch mentalen Schaden beinhalten,
Ralf Bendrath: dann bist du verantwortlich und
Ralf Bendrath: musst dafür haften und im Zweifelsfall Schadensersatz und sowas zahlen.
Ralf Bendrath: Und jetzt mit der neuen Revision, die gerade gestern angenommen wurde,
Ralf Bendrath: ist endlich auch Produkthaftung für Software mit dabei.
Ralf Bendrath: Das heißt, wenn du eine schadhafte Software in den Markt bringst,
Ralf Bendrath: kommerziell, das ist immer nur kommerziell, dann bist du haftbar.
Ralf Bendrath: Das heißt, damit hast du natürlich jetzt als Hersteller einen starken Anreiz,
Ralf Bendrath: dich mal ernsthaft um IT-Sicherheit zu kümmern.
Ralf Bendrath: Was wichtig ist, da gab es auch zwischendurch immer wieder mal Fragen aus der Community, die,
Ralf Bendrath: Wenn du ein freier Softwareentwickler bist, der nur zu Hause so ein bisschen
Ralf Bendrath: vor sich hin frickelt und das Zeugs irgendwo auf GitHub hochlädt oder so,
Ralf Bendrath: aber das nicht geschäftlich macht, dann bist du nicht in der Verantwortung.
Ralf Bendrath: Wenn jemand jetzt dein freies Softwaremodul nimmt und ein kommerzielles Produkt
Ralf Bendrath: einbaut, dann ist der dafür verantwortlich und nicht du als Entwickler von dem
Ralf Bendrath: kleinen Open-Source-Software-Tool.
Ralf Bendrath: Das war also ganz wichtig, das haben wir da auch gewonnen.
Ralf Bendrath: Was sonst? Ja, ich glaube, das waren so die wesentlichen Elemente.
Thomas Lohninger: Ja, vielleicht bei dem Punkt. Das war auch etwas, das wirklich gerade bei der
Thomas Lohninger: Free Software Foundation Europe ein riesiges Thema war.
Thomas Lohninger: Also in der gesamten Community der freien und offenen Software hat man sich
Thomas Lohninger: da große Sorgen gemacht rund um Cyber Resilience Act.
Thomas Lohninger: Und es ist gut, wenn da jetzt eine Lösung gefunden wurde, die einfach gemeinwohlorientierte,
Thomas Lohninger: nicht kommerzielle Produkte ausnimmt. Und ich frage mich dann immer so,
Thomas Lohninger: wie stabil sind die Definitionen? Ist das wirklich gut abgegrenzt?
Thomas Lohninger: Und de facto, was du damit natürlich dann auch hast, ist, dass die Person,
Thomas Lohninger: die daraus ein Geschäft macht, auf einmal natürlich auch alle etwaige Haftung
Thomas Lohninger: übernimmt und die nicht weitergeben kann an irgendwen.
Thomas Lohninger: Was, glaube ich ja auch, wenn wir so beim ersten drüber nachdenken,
Thomas Lohninger: eine brauchbare Lösung ist.
Thomas Lohninger: Ein anderes Thema, was beim Cyber Resilience Act noch ganz… Thomas.
Ralf Bendrath: Wir waren noch bei der Produkthaftungsrichtlinie. Cyber Resilience Act habe
Ralf Bendrath: ich mir gar nicht vorgestellt. Aber es geht sehr ineinander über.
Thomas Lohninger: All the same.
Tim Pritlove: Also kurze Anmerkung dazu. Also diese Product Liability Directive,
Tim Pritlove: die gibt es ja im Prinzip schon.
Tim Pritlove: Die ist bloß 40 Jahre alt und seitdem nicht wirklich angefasst worden,
Tim Pritlove: wenn ich das richtig sehe.
Ralf Bendrath: Doch, es wurden 1999 landwirtschaftliche und Fischereiprodukte mit reingetan.
Tim Pritlove: Aha.
Tim Pritlove: Deine neue Kernkompetenz sozusagen.
Ralf Bendrath: Aber sonst nichts. Und jetzt die
Ralf Bendrath: große Neuerung ist eben, dass jetzt auch digitale Produkte mit drin sind.
Tim Pritlove: Ah, okay. Und was heißt das dann konkret? Also ich meine, wenn ich jetzt sozusagen
Tim Pritlove: Windows benutze und dann mentalen Schaden davon trage, was ich durchaus für
Tim Pritlove: wahrscheinlich halte, dann kann ich dann sozusagen Bill Gates anrufen und der
Tim Pritlove: muss mir dann Rente zahlen.
Ralf Bendrath: Naja, wenn dann die entsprechenden Gerichte, wo das wahrscheinlich landen wird,
Ralf Bendrath: entscheiden, dass das Produkt schadhaft war und du deswegen einen mentalen Schaden
Ralf Bendrath: davon getragen hast, dann ja.
Tim Pritlove: Verstehe.
Ralf Bendrath: Halte ich aber den Fall eher für unwahrscheinlich. Es gibt sozusagen kaputte
Ralf Bendrath: Software, die einfach Sicherheitslücken und ähnliches hat.
Tim Pritlove: Ja, und das heißt, hat das den Status einer Verordnung? Gilt das sozusagen unmittelbar dann?
Ralf Bendrath: Das ist eine Richtlinie, die muss durch nationales Recht umgesetzt werden.
Tim Pritlove: Okay, und das heißt, das kann auch noch ein bisschen dauern, sozusagen.
Ralf Bendrath: Ja, da fragst du mal die FDP, wie lange die wieder auf die Bremse treten will.
Ralf Bendrath: Das ist ja hier inzwischen ein Running Gag, hätte, hätte Lieferkette.
Tim Pritlove: Ja, genau. Okay, gut, aber nehmen wir jetzt mal an, es sei im Sinne des Gesetzes
Tim Pritlove: in eine Richtlinie überführt worden bereits.
Tim Pritlove: Kannst du mal so einen typischen Fall aufmachen, den ihr sozusagen bei dem Design
Tim Pritlove: im Sinn hattet und wie sich das dann äußern könnte konkret?
Ralf Bendrath: Annika, hast du da mehr mit zu tun gehabt? Weil das ja euer Ausschuss war.
Arnika Zinke: Es war mein Ausschuss, aber es war mein Kollege, der daran gearbeitet hat.
Arnika Zinke: Aber es ist zum Beispiel jetzt nicht KI, nur um das ganz kurz zu sagen,
Arnika Zinke: weil für KI war eigentlich ein Schwestergesetz vorgesehen, nämlich die KI-Haftungsrichtlinie.
Arnika Zinke: Die steckt aber momentan im Justizausschuss fest, da ist der Berichterstatter Axel Voss.
Arnika Zinke: Also da gab es etwas Ungereimtheiten, was die Ausrichtung des Gesetzes betrifft.
Arnika Zinke: Aber ja, ich habe nicht in der plattbaren Produkthaftungsrichtlinie gearbeitet.
Ralf Bendrath: Ja, ich habe die jetzt auch nicht im Detail verfolgt. Ich habe vor allem das
Ralf Bendrath: Briefing von unserem Kollegen dazu gelesen.
Ralf Bendrath: Also auch nicht den ganzen Gesetzestext. Aber so ein Beispiel,
Ralf Bendrath: was ich mir jetzt da vorstellen würde, ist, wenn du dir einen Smart Thermostat
Ralf Bendrath: kaufst für deine Heizung.
Tim Pritlove: Ja, habe ich gerade gemacht. Sehr gut. Viel Spaß.
Ralf Bendrath: Wer klemmt denn bitte sein Haus ans Internet?
Tim Pritlove: Dann mit dem Internet hat das einfach nichts zu tun.
Ralf Bendrath: Ach so, okay. Aber wenn das Ding sozusagen Internet-Konnektivität hat und sich
Ralf Bendrath: da jemand reinhackt und irgendwie deine Heizung so hoch dreht,
Ralf Bendrath: dass der Boiler kaputt geht oder sowas, dann wäre der Thermostat-Hersteller dafür haftbar.
Tim Pritlove: Wow.
Ralf Bendrath: Wenn sozusagen dem nachzuweisen ist, dass er hier ein schadhaftes Produkt auf den Markt gebracht hat.
Tim Pritlove: Aber mit dem Nachweis, das könnte natürlich dann nochmal so ein Ding werden.
Tim Pritlove: Das muss sich dann erst mal noch zeigen vor den Gerichten, was für Nachweise
Tim Pritlove: dort erbracht werden müssen.
Tim Pritlove: Oder gibt es dafür auch dann schon eine Maßgabe, wie das zu erfolgen hat?
Arnika Zinke: Es gibt bei bestimmten Fällen eine Umkehrung von der Beweislast.
Arnika Zinke: Die bestimmten Fälle müsste ich aber nachschauen. Aber es gibt Fälle,
Arnika Zinke: wo es für den Konsumenten sehr schwierig nachzuweisen ist, wo das umgekehrt
Arnika Zinke: wird und auch in Fällen, wo es eben besonders schwer der Schaden wäre.
Tim Pritlove: All right, gut. Dann können wir ja auf den Cyber Resilience Act kommen,
Tim Pritlove: Ralf. Was hat es denn damit auf sich?
Ralf Bendrath: Genau, das ist ein neues Gesetz. Das ist eine Verordnung, gilt also unmittelbar,
Ralf Bendrath: nachdem sie jetzt veröffentlicht wird und dann in Kraft tritt.
Ralf Bendrath: Und da geht es sozusagen nochmal härter wirklich in die Pflicht für Anbieter
Ralf Bendrath: von elektronischen Endgeräten. Das kann auch Software beinhalten oder andere digitale Devices.
Ralf Bendrath: Das ist so ein bisschen ähnlich aufgehängt wie das KI-Gesetz,
Ralf Bendrath: der AI-Act im Rahmen dieses sogenannten New Legislative Framework,
Ralf Bendrath: wo noch so ein ganzer Rattenschwarz von Marktaufsichtsbehörden dranhängt und
Ralf Bendrath: so und am Ende das CE-Label rauskommt, was man so kennt als Label für Produktsicherheit in Europa. Ja.
Ralf Bendrath: Die Hersteller von solchen Produkten,
Ralf Bendrath: also das ist eine relativ allgemein gehaltene Regelung, Artikel 13,
Ralf Bendrath: Obligations of Manufacturers, also Auflagen für Hersteller, die müssen sich
Ralf Bendrath: an die essentiellen, ich weiß immer nicht, was du auf Deutsch hast,
Ralf Bendrath: wir machen alles auf Englisch hier, Essential Requirements,
Ralf Bendrath: essentielle Anforderungen, danke, in Annex 1 halten.
Ralf Bendrath: Und Teil 1 von Antrag 1 ist über Cyber Security.
Ralf Bendrath: Und da steht dann ganz klar drin, Produkte mit digitalen Elementen sollen designt,
Ralf Bendrath: entwickelt und hergestellt werden, sodass sie ein angemessenes Level von Cybersicherheit
Ralf Bendrath: basierend der jeweiligen Risiken liefern.
Ralf Bendrath: Und sie sollen zum Beispiel auf den Markt gebracht werden ohne bekannte Sicherheitslücken.
Ralf Bendrath: Also versteckte Backdoors, die der Hersteller kennt, aber nicht angibt beim
Ralf Bendrath: Verkauf, sind jetzt damit verboten offiziell.
Ralf Bendrath: Sie müssen bei Default einer sicheren Konfiguration ausgeliefert werden.
Ralf Bendrath: Sie müssen Sicherheitsupdates kriegen können. Sie müssen vor ungesichertem Zugriff
Ralf Bendrath: geschützt sein und wenn es einen Zugriff geben sollte, müssen Sie es berichten.
Ralf Bendrath: Und jetzt steht sogar noch drin, Sie müssen die Vertraulichkeit von gespeicherter
Ralf Bendrath: oder übertragener Daten,
Ralf Bendrath: egal ob persönliche Daten oder andere, sicherstellen, unter anderem durch Verschlüsselung,
Ralf Bendrath: Speicher und auch Transit. Ja.
Ralf Bendrath: Und die Sicherheitsupdates müssen mindestens für fünf Jahre bereitgestellt werden.
Ralf Bendrath: Außer das Produkt hat absehbar eine deutlich geringere Lebenszeit,
Ralf Bendrath: dann reicht es auch kürzer.
Ralf Bendrath: Aber mindestens sind erstmal normalerweise fünf Jahre müssen verpflichtende
Ralf Bendrath: Sicherheitsupdates geliefert werden.
Tim Pritlove: Fünf Jahre ab was? Ab was gerechnet?
Ralf Bendrath: Ab Verkauf. Ab Verkauf. Verstehe ich zumindest so.
Thomas Lohninger: Also das ist wirklich so wie ein Mindesthaltbarkeitsdatum, nur diesmal wirklich
Thomas Lohninger: für Sicherheitsupdates. Genau.
Ralf Bendrath: Und die sagen auch ganz deutlich da, ich glaube in einem Erwägungsgrund,
Ralf Bendrath: ich finde den Teil gerade jetzt nicht mehr sofort,
Ralf Bendrath: wenn klar ist, dass das Gerät eine längere Lebenszeit hat, zum Beispiel Router
Ralf Bendrath: oder andere Sachen, die normalerweise länger laufen als fünf Jahre,
Ralf Bendrath: dann müssen die Sicherheitsupdates auch jetzt für die erwartbare Lebenszeit geliefert werden.
Ralf Bendrath: Was da jetzt noch nicht drin ist, das hatten wir mit Linus damals mal diskutiert
Ralf Bendrath: bei einer Anhörung unserer Fraktion zur IoT-Sicherheit, kurz nach dem WannaCry-Unglück.
Ralf Bendrath: Was passiert, wenn diese Lebenszeit erreicht ist, End of Life,
Ralf Bendrath: und die keine Sicherheitsupdates mehr liefern? Wann müssen sie dann sozusagen
Ralf Bendrath: dem Nutzer es ermöglichen, das Produkt selber up-to-date, wenn zum Beispiel
Ralf Bendrath: die Software unter freie Lizenzen gestellt werden muss oder so. Das ist hier noch offen.
Ralf Bendrath: Das ist nicht geklärt. Du hast einfach nur jetzt mindestens fünf Jahre die Updates.
Ralf Bendrath: Wenn das Produkt absehbar länger hält, dann auch noch länger.
Ralf Bendrath: Ja, und danach kannst du es dann wegschmeißen oder auf eigenes Risiko weiter benutzen.
Ralf Bendrath: Aber das ist wirklich ein ziemlicher Durchbruch, finde ich. Das muss man echt mal anerkennen.
Tim Pritlove: Das würde ich auch meinen.
Arnika Zinke: Es war tatsächlich ein Änderungsantrag im Binnenmarktausschuss,
Arnika Zinke: das unter einer freien Lizenz zu veröffentlichen, wenn es nicht mehr am Markt
Arnika Zinke: ist. Leider hat es keine Mehrheit bekommen.
Thomas Lohninger: Ja, solche Sachen werden nie verstanden. Aber jetzt mal praktisch gefragt,
Thomas Lohninger: wenn du sagst Mindeststandards bei IT-Sicherheit, so peinliche Dinge wie ungehäschte
Thomas Lohninger: Passwörter, das dürfte es dann nicht mehr geben, oder?
Ralf Bendrath: Nee. Nee.
Thomas Lohninger: Und etwas, an das ich mich auch noch erinnere, wir haben am Anfang an dem Gesetz gearbeitet,
Thomas Lohninger: da gab es ja auch diese Meldung von Sicherheitslücken, wenn ein Hersteller jetzt etwas findet,
Thomas Lohninger: eine Lücke in der eigenen Software oder in den eigenen Geräten,
Thomas Lohninger: dass diese Lücken dann auch an staatlichen Stellen unmittelbar gemeldet werden
Thomas Lohninger: müssen, auch noch bevor die Sicherheitslücke behoben wurde.
Thomas Lohninger: Wo es dann ja auch die Sorge gab, dass dieses Wissen um etwaige Einfallstore
Thomas Lohninger: dann von staatlichen Stellen vielleicht sogar auch missbraucht würde für zum
Thomas Lohninger: Beispiel Staatstreuer.
Ralf Bendrath: Ja, ich habe den Text jetzt nicht vor mir, aber wie ich den Briefing vom Kollegen
Ralf Bendrath: Christian entnehme, gibt es jetzt anscheinend eine neue Stelle bei der EU-IT-Sicherheitsagentur
Ralf Bendrath: Enisa, die genau diese Sicherheitslücken bekommen soll.
Thomas Lohninger: Ja, das war nämlich wirklich ein bisschen problematisch, weil damit natürlich,
Thomas Lohninger: wenn du konkret den Weg, wie deine Software aufgemacht werden kann,
Thomas Lohninger: sofort melden musst, noch bevor du es geschlossen hast.
Thomas Lohninger: Also das widerstößt dann ein bisschen gegen, Sponsor-Predisclosure ist das jetzt
Thomas Lohninger: nicht, aber es öffnet gewisse Gefahren.
Ralf Bendrath: Okay, ob man die bevor man es gepatcht hat schon melden muss,
Ralf Bendrath: weiß ich jetzt nicht. Das müsste man im Detail nochmal nachgucken.
Ralf Bendrath: Das habe ich jetzt nicht vor mir.
Thomas Lohninger: Das war zumindest früher mal ein Problem. Ab wann gelten denn diese Gesetze?
Ralf Bendrath: Der Cyber Resilience Act, wie gesagt, ist eine Verordnung, die gilt unmittelbar.
Ralf Bendrath: Die ist jetzt quasi heute, gestern angenommen worden im Plenum.
Ralf Bendrath: Das muss jetzt der Rat formal noch annehmen, weil wir noch im ersten Lesungsverfahren sind.
Ralf Bendrath: Dann wird es im Amtsblatt der EU veröffentlicht. Und dann weiß ich nicht,
Ralf Bendrath: ob es irgendwelche Übergangsfristen gibt oder ob das dann sofort gilt.
Ralf Bendrath: Steht jetzt hier nicht im Briefing drin.
Arnika Zinke: Also meines Wissens nach gibt es relativ lange Übergangsfristen.
Arnika Zinke: Also zumindest nachdem es aus dem Parlament kam, haben wir sehr große Probleme
Arnika Zinke: gehabt, die Fristen nicht allzu lange zu haben.
Tim Pritlove: Also ein paar Jahre, oder was muss man sich da jetzt vorstellen?
Arnika Zinke: Ja, genau, ein paar Jahre.
Tim Pritlove: Okay, das tropft also so langsam rein.
Ralf Bendrath: Okay, ich sehe gerade Artikel 14, Reporting Obligations of Manufacturers.
Ralf Bendrath: Da geht es offenbar nur um Verwundbarkeiten, die aktuell aktiv ausgenutzt werden.
Ralf Bendrath: Wenn also gerade irgendwie Angriffe laufen, dass dann die nationalen C-Cert-Koordinatoren
Ralf Bendrath: und Enisa benachrichtigt werden sollen, damit die Schritte ergreifen können.
Ralf Bendrath: Wenn gerade ein Angriff läuft, macht das ja auch Sinn.
Ralf Bendrath: Aber darüber hinaus sehe ich jetzt keine Verpflichtungen.
Tim Pritlove: Zumindest gibt es jetzt erstmal nicht mehr das Admin-Admin-Standardpasswort
Tim Pritlove: bei irgendwelchen Routern.
Tim Pritlove: Das ist schon mal wichtig, dass mal überhaupt so eine Linie da gezogen wird mit so Leuten.
Tim Pritlove: Also wenn ihr hier irgendwie mitspielen wollt, dann ist einfach mal ein gewisses
Tim Pritlove: Minimum jetzt auch definiert und nicht nur so der Markt macht das schon.
Tim Pritlove: Und ich denke, das ist dann doch schon ein wichtiger Schritt nach vorne.
Thomas Lohninger: Ja, und vor allem auch, Ralf hat ja schon die Analogie mit dem CE-Label genannt.
Thomas Lohninger: Genauso wie man sich darauf verlassen muss, dass ein Gerät, das an Strom hängt,
Thomas Lohninger: nicht zum Rauchen anfängt und explodiert, es hat auch bei der Netzwerkverbindung
Thomas Lohninger: ein gewisses Mindestmaß an Sorgfalt einfach geboten.
Thomas Lohninger: Also ob dieses Gesetz wirklich in allem perfekt ist, wird man sehen,
Thomas Lohninger: aber die Richtung ist da schon die richtige, glaube ich.
Ralf Bendrath: Und hier gab es natürlich auch wieder die Frage, was ist mit Open Source?
Ralf Bendrath: Der gleiche Ansatz wieder bei der Produkthaftungsrichtlinie.
Ralf Bendrath: Wenn man Software nicht kommerziell auf den Markt bringt, ist man raus.
Ralf Bendrath: Also der kleine Open-Source-Entwickler, der irgendwelche Tools baut,
Ralf Bendrath: die dann andere kommerzielle Hersteller nehmen, der ist raus und die kommerziellen
Ralf Bendrath: Hersteller sind in der Pflicht.
Ralf Bendrath: Und die müssen dann sozusagen auch für die Sicherheitsupdates sorgen,
Ralf Bendrath: nicht der kleine Bastler in der Kellerwerkstatt oder so.
Tim Pritlove: Aber was definiert denn dann kommerziell? Also es gibt ja auch oft so Leute,
Tim Pritlove: die Open Source machen und dann quasi selber kommerziell sind,
Tim Pritlove: weil sie dann Beratungen dafür machen.
Tim Pritlove: Damit wären sie ja sozusagen im kommerziellen Spiel.
Thomas Lohninger: Oder um Spenden bitten für ihre Software.
Tim Pritlove: Graubereich.
Ralf Bendrath: Puh, das weiß ich nicht. Annika, das ist wahrscheinlich in deinem Ausschuss
Ralf Bendrath: schon besser ausdiskutiert. Das wüsste ich jetzt nicht. Gibt es bestimmt irgendwo
Ralf Bendrath: schon Standarddefinitionen?
Arnika Zinke: Es gab dazu lange, ich weiß, es gab dazu sehr lange Diskussionen,
Arnika Zinke: gab auch beim Cyber Veselians Act und auch gerade was Spenden betrifft,
Arnika Zinke: vor allem Spenden, die immer wieder über einen längeren Zeitraum passieren,
Arnika Zinke: auch von größeren Entitäten.
Arnika Zinke: Ich weiß jetzt aber auch nicht, was genau das Endresultat war,
Arnika Zinke: weil wir natürlich, wenn es noch im Parlament ist, relativ viel eingebunden sind.
Arnika Zinke: Aber wenn das dann final in den Trilog geht, vor allem war das auch zu einer
Arnika Zinke: Zeit, wo das KI-Gesetz gerade im Trilog war, Da sind wir dann auch als nicht
Arnika Zinke: federführende Ausschüsse ein bisschen raus.
Arnika Zinke: Aber an sich wurde sich jetzt auf eine Definition geeinigt, mit der meines Wissens
Arnika Zinke: die Open-Source-Community recht zufrieden ist und die jetzt eigentlich auch
Arnika Zinke: in den meisten neuen Digitalgesetzen verwendet worden ist, wo relativ klar ist,
Arnika Zinke: was ist wirklich auf den Markt bringen und was ist, wenn man es nur eben zum
Arnika Zinke: Beispiel bei GitHub hochlädt.
Ralf Bendrath: Ich habe hier gerade herausgefunden, Erwägungsgrund 15, da steht was drin,
Ralf Bendrath: die, ich muss jetzt sozusagen live vom Englischen ins Deutsche übersetzen,
Ralf Bendrath: die Lieferung im Kurs einer kommerziellen Aktivität kann charakterisiert werden,
Ralf Bendrath: nicht nur indem ein Preis für ein Produkt mit digitalen Elementen verlangt wird, sondern auch,
Ralf Bendrath: wenn man einen Preis verlangt für technische Unterstützungsdienste.
Tim Pritlove: Das würde das dann mit einschließen.
Ralf Bendrath: Well, this does not serve only the recuperation of actual costs.
Thomas Lohninger: In einer der letzten Folgen haben wir Gesetze durch JGPT analysieren lassen.
Thomas Lohninger: Diesmal lassen wir sie durch die Verhandler selbst interpretieren. Ein Fortschritt.
Thomas Lohninger: Aber das ist auch passend irgendwie zu dem nächsten Gesetz, das wir noch kurz
Thomas Lohninger: ansprechen wollten, Ralf.
Thomas Lohninger: Das ist auch etwas, was du uns mitgebracht hast. Das hat ja fast schon irgendwie
Thomas Lohninger: den guten Nachrichtsjingel verdient.
Ralf Bendrath: Die Plattform-Workers, ne?
Thomas Lohninger: Ja, genau.
Ralf Bendrath: Genau. Es gibt jetzt auch seit dieser Woche eine Plattform, die wurde nicht
Ralf Bendrath: im Plenum abgestimmt, sondern die war schon im Februar ausverhandelt und war
Ralf Bendrath: bisher aber im Rat blockiert.
Ralf Bendrath: Und gerade jetzt vorgestern am Montag hat wieder der Ministerrat für Beschäftigung,
Ralf Bendrath: Soziales, Gesundheit und Verbraucherschutz getagt.
Ralf Bendrath: Und da gab es bisher eine Sperrminorität, bestehend aus Estland,
Ralf Bendrath: Griechenland, Frankreich und Deutschland, mal wieder die FDP.
Ralf Bendrath: Und Estland und Griechenland haben jetzt sich von der Enthaltung zu einem Vote,
Ralf Bendrath: zu einer Abstimmung dafür durchgerungen.
Ralf Bendrath: Deswegen gab es jetzt nur noch mit Frankreich und Deutschland alleine keine Sperrminorität mehr.
Ralf Bendrath: Und deswegen kommt jetzt die Platform Workers Directive,
Ralf Bendrath: die erstmals sozusagen die Arbeitsbedingungen regelt für Leute,
Ralf Bendrath: die über Plattformen, was weiß ich, wie Uber Eats oder Deliveroo oder sowas
Ralf Bendrath: arbeiten, aber auch zum Beispiel Mechanical Turk von Amazon oder so Zeug.
Ralf Bendrath: Weil da bisher immer noch ganz oft unklar war, sind das Angestellte,
Ralf Bendrath: sind das Freelancer, welche Rechte haben die gegenüber dem Quote-unquote Arbeitgeber und so.
Ralf Bendrath: Und diese Plattform Worker's Direct, soweit ich es verstanden habe,
Ralf Bendrath: wie gesagt, das war Beschäftigungsausschuss, ich habe es auch nur von der Seite
Ralf Bendrath: mitverfolgt, die macht jetzt vor allem zwei Sachen, die...
Ralf Bendrath: Sagt eben, dass sozusagen erst mal die Annahme gilt, wenn man so ein Plattform-Worker
Ralf Bendrath: ist, ist man Angestellter.
Ralf Bendrath: Und die Beweislast, dass das nicht der Fall ist, hat der Arbeitgeber sozusagen oder die Plattform.
Ralf Bendrath: Das heißt, damit gelten dann die ganzen Rechte als Arbeitgeber wie Recht auf
Ralf Bendrath: bezahlten Urlaub, Recht auf Streik und alles mögliche andere,
Ralf Bendrath: Krankengeld und so weiter.
Ralf Bendrath: Und wie gesagt, wenn die Plattform meint, nee, aber in dem Fall ist das doch
Ralf Bendrath: ganz klar nur ein Freelancer, der macht nur ab und zu mal hier was,
Ralf Bendrath: wenn er Bock drauf hat, dann muss sie das eben nachweisen.
Ralf Bendrath: Und dann ist sie raus aus den Arbeitgeberverpflichtungen.
Ralf Bendrath: Und das Zweite ist, dass es jetzt zum ersten Mal Regeln gibt für algorithmisches
Ralf Bendrath: Management von Arbeitern oder Arbeitenden.
Ralf Bendrath: Das heißt, wenn man ernsthafte Entscheidungen trifft über so einen Plattformarbeiter
Ralf Bendrath: oder eine Arbeiterin, zum Beispiel Beendigung des Vertrages oder so,
Ralf Bendrath: das darf auf keinen Fall von einem Algorithmus gemacht werden,
Ralf Bendrath: das muss immer ein Mensch entscheiden.
Tim Pritlove: Gilt denn, also für welche Unternehmen gilt denn das und für welche Mitarbeiter gilt denn das?
Tim Pritlove: Also inwiefern ist jetzt die Zugehörigkeit oder der Aufenthalt in Europa da
Tim Pritlove: entscheidend oder gilt das dann irgendwie weltweit oder wie ist das gedacht?
Ralf Bendrath: Das gilt immer nur für Europa. Europäische Gesetz gilt nur in Europa.
Tim Pritlove: Klar, aber gilt es auch für einen indischen Plattformarbeiter,
Tim Pritlove: für eine Firma, die in Europa ist?
Ralf Bendrath: Gute Frage. Kann ich jetzt so nicht beantworten. Wie gesagt,
Ralf Bendrath: das habe ich selber nicht verhandelt.
Tim Pritlove: Und gilt es für einen deutschen Mitarbeiter einer indischen Firma zum Beispiel
Tim Pritlove: oder einer amerikanischen?
Tim Pritlove: Also das ist so das, was ich mich frage. Was ist jetzt da sozusagen, wen betrifft das quasi?
Tim Pritlove: Und wann ist man dadurch geschützt?
Tim Pritlove: Weil so viele Plattformen haben wir ja nicht in Europa.
Ralf Bendrath: Muss ich mal kurz gucken, ob das von der Kollegin hier im Briefing irgendwie
Ralf Bendrath: abgedeckt ist, sonst wüsste ich es nicht.
Thomas Lohninger: Also es ist ganz oft so bei diesen grenzüberschreitenden Arbeitsverhältnissen,
Thomas Lohninger: dass es sehr schnell sehr kompliziert wird, auch innerhalb der EU.
Thomas Lohninger: Da gibt es auch recht komplizierte Regelwerke, so Stichwort Entsenderichtlinie.
Thomas Lohninger: Aber wovon man auf jeden Fall ausgehen kann,
Thomas Lohninger: ist, dass die klassischen Essensauslieferer, Leute, die in der Servicebranche
Thomas Lohninger: über Plattformen beschäftigt sind,
Thomas Lohninger: alles, was eben über die klassischen Apps bezogene Arbeitsleistung ist, mehr oder weniger,
Thomas Lohninger: hier auf jeden Fall davon enthalten ist.
Thomas Lohninger: Und die Gewerkschaften jubeln hier auf jeden Fall.
Thomas Lohninger: Man sollte anmerken, dass schon vor dem Konflikt, den Ralf gerade genannt hat,
Thomas Lohninger: es hier eine Abschwächung gab zwischen dem, was das Parlament verabschiedet hat.
Thomas Lohninger: Da hätte es so einheitliche Kriterien gegeben, ab wann du denn jetzt wirklich
Thomas Lohninger: angenommener fixer Angestellter von dieser Plattform bist. ist.
Thomas Lohninger: Und diese Kriterien gibt es jetzt aber leider nicht mehr. Nur noch Prinzipien,
Thomas Lohninger: aber da gibt es dann Umsetzung, Spielraum.
Thomas Lohninger: Das hier ist ja eine Richtlinie, die muss erst in nationales Recht überführt werden.
Thomas Lohninger: Und das wird zu einem Fleckerteppich führen, wo einfach in unterschiedlichen
Thomas Lohninger: Ländern unterschiedliche Kriterien gelten.
Thomas Lohninger: Und das ist für das Land kann das immer noch gut sein, wenn man jetzt hier es
Thomas Lohninger: schafft, Druck zu machen.
Thomas Lohninger: Aber es gibt kein europaeinheitliches Niveau, ab wann der Uber-Treiber,
Thomas Lohninger: der Uber-Fahrer könnte jetzt zum Beispiel in Deutschland Status A haben und
Thomas Lohninger: in Österreich Status B zum Beispiel.
Ralf Bendrath: Es gibt sogar, habe ich jetzt gelernt, keine einheitliche Definition von was
Ralf Bendrath: Work, also Arbeit, eigentlich genau bedeutet, weil das anscheinend EU-weit bisher
Ralf Bendrath: nicht harmonisiert ist und die Mitgliedstaaten wohl darauf bestanden haben,
Ralf Bendrath: dass Arbeitsrecht und sowas weiterhin nationale Kompetenz ist.
Tim Pritlove: Das könnte die Sache ein bisschen schwierig machen, oder?
Ralf Bendrath: Ja, wie Thomas sagt, das wird einen Flickenteppich geben, aber besser so ein
Ralf Bendrath: Flickenteppich als gar keine Rechte für die Plattformarbeiter, ganz klar.
Ralf Bendrath: Was ich gerade noch gesehen habe hier im Briefing der Kollegin ist,
Ralf Bendrath: dass die Plattformen auch jetzt Kommunikationskanäle bereitstellen müssen,
Ralf Bendrath: damit die Plattformarbeitenden untereinander kommunizieren können,
Ralf Bendrath: zum Beispiel um Betriebsräte zu gründen oder sowas.
Tim Pritlove: Ah ja. Okay, aber das sind so einfach mal so die typischen Tages,
Tim Pritlove: weil das erste Beispiel mit diesem Mechanical Turk, da denkt man ja dann gleich
Tim Pritlove: irgendwie Amazon und Ausland und so.
Ralf Bendrath: Aber… Amazon hat eine Niederlassung in Europa.
Tim Pritlove: Ja klar, aber diese Mechanical Turks sind ja sozusagen traditionell sehr weit
Tim Pritlove: über den Planeten verstreut gewesen,
Tim Pritlove: aber es ist natürlich klar, dass jetzt vor allem so Lieferdienste,
Tim Pritlove: was Thomas schon sagte oder eben sowas wie Uber,
Tim Pritlove: davon dann vermutlich auch betroffen sein wird.
Tim Pritlove: Nur, dass man es mal zuordnen kann, was davon wirklich dann tangiert ist.
Tim Pritlove: Weil Plattform ist ja dann ein dehnbarer Begriff.
Thomas Lohninger: Was mal konkret, ist Onlyfans davon betroffen?
Tim Pritlove: Du hast Sorgen.
Thomas Lohninger: Sag ja nur.
Ralf Bendrath: Vermutlich schon. Ich meine, Sexarbeit ist auch Arbeit.
Tim Pritlove: Ja, stimmt. Sind die da nicht alle selbstständig?
Thomas Lohninger: Was man vielleicht einfach noch vermelden sollte oder dazu sagen ist,
Thomas Lohninger: dass das auf jeden Fall ein Schritt in die richtige Richtung ist.
Thomas Lohninger: Und ich glaube auch, dass da die Gewerkschaften schon einen wichtigen Schritt tun,
Thomas Lohninger: weil gerade freie DienstnehmerInnen oder Selbstständige waren ja oft auch bei
Thomas Lohninger: den klassischen Arbeitsrechten diejenigen, die durch die Finger geschaut haben
Thomas Lohninger: und nicht mal repräsentiert wurden.
Thomas Lohninger: Und denen einfach hier zu einem besseren Status zu verhelfen, ist auf jeden Fall gut.
Thomas Lohninger: Und Und zuletzt nochmal jetzt dadurch, dass das auf diese Art jetzt irgendwie
Thomas Lohninger: durchgegangen ist, es zeigt auch irgendwie schön, dass die Achse Deutschland-Frankreich
Thomas Lohninger: alleine dann doch nicht verhindern kann.
Thomas Lohninger: Und dass sich alle anderen Staaten hier schon darauf einigen konnten.
Thomas Lohninger: Also da kann man den Liberalen wahrscheinlich danken, die in Deutschland die.
Thomas Lohninger: Zustimmung verhindern und in Frankreich ja an der Regierung sind.
Ralf Bendrath: Ja, aber das kann man vielleicht nochmal kurz ein bisschen vertiefen,
Ralf Bendrath: Weil das ist echt ein Problem inzwischen mit diesem sogenannten German Vote,
Ralf Bendrath: was in Brüssel hier inzwischen alle kennen.
Ralf Bendrath: Und das ist einfach ein Fehler im Koalitionsvertrag in Berlin.
Ralf Bendrath: Das gibt es ja oft auch in Landesregierungen oder Landeskoalitionsverträgen,
Ralf Bendrath: dass da drin steht, wenn die Regierungsparteien sich nicht einigen können auf
Ralf Bendrath: irgendeine Sache, enthalten sie sich im Bundesrat.
Ralf Bendrath: So, im Bundesrat reicht aber normalerweise eine einfache Mehrheit,
Ralf Bendrath: um ein Gesetz zu beschließen.
Ralf Bendrath: Rat der Minister der Europäischen Union brauchst du eine qualifizierte Mehrheit.
Ralf Bendrath: Da brauchst du irgendwie 72 Prozent der Mitgliedstaaten und die 65 Prozent der
Ralf Bendrath: europäischen Bevölkerung repräsentieren. Ich glaube, so in der Größenordnung.
Ralf Bendrath: Und das heißt aber dann, eine Enthaltung ist dann genauso scheiße wie ein Dagegenstimmen,
Ralf Bendrath: weil einfach diese qualifizierte Mehrheit nicht zustande kommt.
Ralf Bendrath: Das heißt also, wenn die FDP als kleinster 4-Prozent-Koalitionspartner in Berlin
Ralf Bendrath: sagt, wir sind dagegen, dann muss die Regierung sich enthalten,
Ralf Bendrath: laut Koalitionsvertrag, und arbeite dann aber aktiv gegen so ein Gesetz und
Ralf Bendrath: enthält sich nicht nur einfach so, ne?
Tim Pritlove: Das nennt man German Vote?
Ralf Bendrath: Ja, weil das einfach jetzt in ganz vielen Gesetzen passiert,
Ralf Bendrath: dass die Deutschen sich enthalten und damit dazu beitragen, dass vielleicht
Ralf Bendrath: eine qualifizierte Mehrheit nicht zustande kommt, weil die FDP dagegen ist.
Ralf Bendrath: Hätte, hätte, Lieferkette.
Tim Pritlove: Und das ist sozusagen ein Konstruktionsfehler im Koalitionsvertrag,
Tim Pritlove: dass man es für Europa nicht anders geregelt hat.
Ralf Bendrath: Genau. Und das ist auch ein Konstruktionsfehler im Bundeskanzleramt, würde ich mal sagen.
Ralf Bendrath: Also unter Merkel wäre das nicht so durchgegangen, weil das einfach massiv die
Ralf Bendrath: deutsche Rolle auch in der Europäischen Union untergräbt.
Ralf Bendrath: Also Deutschland, auch bis zu Merkel und so, war immer eigentlich dafür bekannt,
Ralf Bendrath: dass man versucht hat, einen Ausgleich zu finden zwischen den Mitgliedstaaten,
Ralf Bendrath: dass man nicht so selber mit dicken, ausgefahrenen Ellenbogen in den Verhandlungen
Ralf Bendrath: reingegangen ist und einfach versucht hat, den Laden zusammenzuhalten.
Ralf Bendrath: Idealerweise gemeinsam mit Frankreich. Und wenn jetzt dank der FDP die Deutschen
Ralf Bendrath: da immer so rumpoltern müssen und immer sagen,
Ralf Bendrath: wir sind aber dagegen de facto und im Zweifelsfall so ein Gesetz blockieren,
Ralf Bendrath: weil dann kommen natürlich viele kleinere Mitgliedstaaten auch oder auch Frankreich
Ralf Bendrath: dann, die sich hinter Deutschland dann verstecken.
Ralf Bendrath: Und das ist einfach echt ziemlich bitter.
Ralf Bendrath: Und wie gesagt, in Brüssel schon bekannt als The German Vote.
Tim Pritlove: Annika, du hast da noch was zu sagen?
Arnika Zinke: Nein, ich wollte nur sagen, dass genau wie Ralf das angesprochen hatte,
Arnika Zinke: wenn natürlich Deutschland und Frankreich beide sagen, sie sind dagegen oder
Arnika Zinke: einer enthält sich, der andere ist dagegen, dann kreiert das einen Effekt auch
Arnika Zinke: bei den anderen Mitgliedstaaten.
Arnika Zinke: Das heißt, die überlegen sich dann schon, vielleicht sollten wir doch dagegen
Arnika Zinke: stimmen oder schauen wir uns das nochmal genauer an, warum denn die zwei Großen da dagegen stimmen.
Arnika Zinke: Und wir hatten das Problem auch in dem KI-Gesetz letztlich, dass wegen Deutschland
Arnika Zinke: und wegen der FDP das Gesetz und die Abstimmung im Rat auf der Kippe gestanden sind.
Ralf Bendrath: Wegen Deutschland und Frankreich.
Thomas Lohninger: Ja, zitiere ich dann nochmal den griechischen Arbeitsminister von den Konservativen.
Thomas Lohninger: Da wir im Geist von Kompromiss und europäischer Einheit arbeiten wollen,
Thomas Lohninger: werden wir die Richtlinie unterstützen. Sehr schön.
Thomas Lohninger: Und ja, das obliegt dann wirklich den Regierungen oder eben den Koalitionsabkommen,
Thomas Lohninger: wie das genau gehandhabt wird. In Österreich ist es zum Beispiel in der aktuellen
Thomas Lohninger: Regierung so, dass man sich da bewusst nicht abstimmt.
Thomas Lohninger: Also hat man auch wegen Klimaschutz gemacht, dass da sozusagen die grüne Klimaministerin
Thomas Lohninger: sich austoben kann, ohne dass hier irgendjemand reinredet, was die Ratspositionen betrifft.
Thomas Lohninger: Ist dann aber zum Beispiel bei Überwachungsthemen unter Umständen sehr negativ,
Thomas Lohninger: wenn du keinen Ausgleich hast und das dann der konservative Innenminister selber
Thomas Lohninger: alles entscheiden kann. Aber ja, das ist Europa.
Ralf Bendrath: In Deutschland ist es so, die SPD-Innenministerin entscheidet das Asylpaket
Ralf Bendrath: mit und die Grünen schlucken es.
Ralf Bendrath: Naja, anderes Thema.
Tim Pritlove: Okay, aber soviel jetzt zur Platform Workers Directive. Jetzt gibt es demnächst
Tim Pritlove: Porno-Betriebsräte, das ist doch super.
Tim Pritlove: So, ein weiteres Thema noch vor dem AI-Act hast du noch für uns,
Tim Pritlove: nämlich die Health-Plattform, nein, wie heißt es, Entschuldigung.
Thomas Lohninger: European Health Data Space.
Tim Pritlove: Der European Health Data Space, korrekt.
Thomas Lohninger: Genau, das hast du verhandelt. Also, worum geht es dabei? Ich glaube,
Thomas Lohninger: das hatten wir in Ansätzen, aber give us the primal.
Ralf Bendrath: Ja, das ist auch wieder ein Gesetzesvorschlag,
Ralf Bendrath: der in zwei Ausschüssen gleichberechtigt verhandelt wird.
Ralf Bendrath: In meinem Ausschuss Liebe, also Civil Liberties, Justice and Home Affairs,
Ralf Bendrath: wegen der Datenschutzkomponente und Gesundheit- und Umweltausschuss wegen Gesundheit, Gesundheitsdaten.
Ralf Bendrath: Und das ist kurz vorm Abschluss. Morgen Nacht soll der letzte Trilog,
Ralf Bendrath: also die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission stattfinden.
Ralf Bendrath: Das Ding hat im Prinzip zwei Elemente. Ist natürlich viel komplizierter,
Ralf Bendrath: aber hat im Prinzip zwei Elemente. Das eine ist Regeln für primäre Nutzung von
Ralf Bendrath: Gesundheitsdaten und das andere ist für sekundäre Nutzung.
Ralf Bendrath: Primäre Nutzung heißt, wenn mein Arzt meine Patientenakte Akte irgendwie lokal
Ralf Bendrath: auf dem Rechner schon elektronisch vorhält,
Ralf Bendrath: dann soll er oder sie die in der Regel auch vernetzt bereitstellen,
Ralf Bendrath: damit wenn ich dann zu einem anderen Arzt gehe oder zu einer anderen Ärztin
Ralf Bendrath: oder ins Krankenhaus oder so, die auch Zugriff auf die gesamte Akte haben und
Ralf Bendrath: das eben besser nutzen können, um mich besser zu behandeln, weil die dann auch
Ralf Bendrath: Vorerkrankungen und vorherige Behandlungen und sowas direkt sehen können.
Ralf Bendrath: Macht irgendwie Sinn, das gibt es hier zum Beispiel in Belgien auch.
Ralf Bendrath: Da Da sind viele Leute auch ganz glücklich drüber. Da kann man auch selber mit
Ralf Bendrath: der App auf dem Smartphone irgendwie
Ralf Bendrath: gucken, was ist eigentlich gerade in meiner Patientenakte so los?
Ralf Bendrath: Dann kann ich die Sachen auch selber mal rauspulen und angucken und so.
Ralf Bendrath: Da war lange der Streit, braucht es dazu ein Opt-in? Also müssen die Leute einwilligen,
Ralf Bendrath: damit es elektronisch vernetzt verfügbar gemacht wird?
Ralf Bendrath: Oder ist es generell bei Default so und man soll vielleicht nur widersprechen können?
Ralf Bendrath: In Deutschland ist, glaube ich, aktuell der Stand, dass es immer noch ein Opt-in
Ralf Bendrath: ist, aber das soll jetzt umgestellt werden auf Opt-out unter lauter Wacht,
Ralf Bendrath: damit mehr Leute die elektronische Patientenakte nutzen.
Ralf Bendrath: Und das Gesundheitswesen sozusagen effektiver ist. Das Ergebnis hier ist im
Ralf Bendrath: Prinzip das gleiche. Es bleibt erstmal so vorgesehen, dass es per Default in
Ralf Bendrath: eine vernetzte elektronische Gesundheitsakte kommt.
Ralf Bendrath: Die Mitgliedstaaten können dann selber aber noch entscheiden,
Ralf Bendrath: ob sie ein Opt-out ermöglichen wollen oder nicht.
Ralf Bendrath: So, das ist eigentlich noch relativ unproblematisch. Da gab es dann so ein bisschen
Ralf Bendrath: Missverständnisse in den Verhandlungen, weil die Leute, die Belgier hier von
Ralf Bendrath: der Ratspräsidentschaft, haben erst gedacht, wenn man da widerspricht,
Ralf Bendrath: heißt das, dass der Arzt gar nicht mehr meine Akten elektronisch führen kann,
Ralf Bendrath: sondern wieder auf Papier zurück muss.
Ralf Bendrath: Das war natürlich dann so, nee, Quatsch. Natürlich kann der Arzt seinen lokalen
Ralf Bendrath: Rechner haben. Wir sind 2024 heutzutage.
Ralf Bendrath: Nur die sollen nicht vernetzt sein.
Ralf Bendrath: Wenn man als Patient vielleicht besondere Sicherheitsbedürfnisse hat,
Ralf Bendrath: weil man auch mal eine psychologische Behandlung hatte oder andere Sachen oder
Ralf Bendrath: eine Abtreibung oder so, will man einfach, dass das nur beim Arzt in der Praxis
Ralf Bendrath: liegt und nicht vernetzt ist.
Ralf Bendrath: Nicht irgendwie vielleicht auch sogar Angreifer da rangehen können oder so mit
Ralf Bendrath: IT-Sicherheitslücken. Obwohl, die sind ja jetzt alle weg mit dem Cyber-Resilienz-Experiment.
Tim Pritlove: Gott sei Dank.
Ralf Bendrath: So, das ist das erste, primäre Nutzung.
Ralf Bendrath: Das zweite ist die sekundäre Nutzung und das ist für uns das Riesenproblem,
Ralf Bendrath: weil es gibt eigentlich jetzt seit über 2400 Jahren den hypokratischen Eid,
Ralf Bendrath: den Ärzte ablegen müssen und der beinhaltet unter anderem die ärztliche Schweigepflicht
Ralf Bendrath: oder das Patientengeheimnis.
Ralf Bendrath: Dass einfach das, was ich mit meinem Arzt bespreche, zwischen uns bleibt und
Ralf Bendrath: ich darauf vertrauen kann.
Ralf Bendrath: Was jetzt hier vorgesehen ist, ist, dass die Gesundheitsdaten,
Ralf Bendrath: sofern sie vernetzt verfügbar sind, auch für andere Zwecke genutzt werden können.
Ralf Bendrath: Das geht dann vor allem um Forschung. Natürlich Big Pharma hat da auch ein Rieseninteresse
Ralf Bendrath: dran, aber auch öffentliches Gesundheitsmanagement, zum Beispiel in Zeiten von
Ralf Bendrath: Pandemien, Infektionstracing, solche Geschichten, was ja teilweise die Gesundheitsämter
Ralf Bendrath: auch heute schon machen.
Ralf Bendrath: Es gibt ja Sachen, wo die ärztliche Schweigepflicht unterbunden wird durch Gesetz,
Ralf Bendrath: bei meldepflichtigen Krankheiten und so, wie es zum Beispiel Corona auch war.
Ralf Bendrath: Und da war jetzt aber die Riesenfrage bis zum Schluss oder ist immer noch,
Ralf Bendrath: das Parlament wollte hier aber dann mindestens sagen, dann sollen die Leute
Ralf Bendrath: aber zumindest ein Widerspruchsrecht haben.
Ralf Bendrath: Dass ich sagen kann, meine Patientendaten sollen bitte für Forschung oder so
Ralf Bendrath: nicht bereitgestellt werden.
Ralf Bendrath: Die Mitgliedstaaten haben jetzt, die belgische Ratspräsidentschaft hat wirklich
Ralf Bendrath: versucht, das irgendwie zu berücksichtigen.
Ralf Bendrath: Das war für das Parlament sozusagen die eine große rote Linie die ganze Zeit.
Ralf Bendrath: Wir haben ganz viele andere kleinere Sachen aufgegeben, um dieses Opt-out zu
Ralf Bendrath: kriegen für sekundäre Nutzung.
Ralf Bendrath: Aber die Mitgliedstaaten stellen sich jetzt auf stur und sagen,
Ralf Bendrath: nö, wir wollen einfach alle Daten und man kann gerne ein Opt-out machen,
Ralf Bendrath: aber dann gibt es für die Mitgliedstaaten dann das Recht, wieder das Opt-out zu überschreiben.
Ralf Bendrath: Also das gilt dann einfach nicht. Und das sind dann auch für Zwecke,
Ralf Bendrath: wo ich mich frage, braucht es dazu wirklich immer alle Daten?
Ralf Bendrath: Unter anderem für öffentliche Institutionen, die ein Mandat im Bereich der öffentlichen
Ralf Bendrath: Gesundheit haben oder sogar private Institutionen, die eine Aufgabe im Bereich
Ralf Bendrath: der öffentlichen Gesundheit haben.
Ralf Bendrath: Gut, da könnte man vielleicht noch drüber streiten, ob man das ein bisschen
Ralf Bendrath: enger fasst und dann ist es vielleicht noch akzeptabel.
Ralf Bendrath: Der Parlamentsvorschlag war jetzt, dass man das nur in Situationen von öffentlicher
Ralf Bendrath: medizinischer Notlage oder Notlage der öffentlichen Gesundheit machen kann.
Ralf Bendrath: So eine ähnliche Regelung haben wir schon im Data Act zum Beispiel.
Ralf Bendrath: Dann wollen sie aber auch noch alle möglichen Research, medizinische Produktentwicklung
Ralf Bendrath: medizinische Geräteentwicklung also die haben sie bisher auch so entwickeln
Ralf Bendrath: können ohne dass man von allen Patienten die Daten abgegriffen hat und das letzte ist auch Statistiken.
Ralf Bendrath: Nationale, multinationale und EU-Level offizielle Statistiken ich meine Statistiker
Ralf Bendrath: können seit über 100 Jahren mit unvollständigen Datensätzen umgehen,
Ralf Bendrath: das ist deren Job da dann irgendwie die Bias so rauszurechnen,
Ralf Bendrath: Ja, so sieht es aus. Das ist das letzte Angebot, was die Kommission jetzt auf
Ralf Bendrath: den Tisch vorgelegt hat als Quote-Unquote-Kompromiss.
Ralf Bendrath: Das geht morgen Abend in den letzten Trilog. Heute war nochmal ein Treffen der
Ralf Bendrath: Schattenberichterstatter vom Parlament von den verschiedenen Fraktionen.
Ralf Bendrath: Und es sieht so aus, dass die Mehrheit, zumindest eine Mehrheit aus EVP,
Ralf Bendrath: EKR, also die europakritischeren Konservativen und Sozialdemokraten,
Ralf Bendrath: das so akzeptieren will.
Ralf Bendrath: Und im Prinzip alles aufgibt, was wir die ganze Zeit gesagt haben.
Ralf Bendrath: Hier, wir geben euch die ganzen anderen Sachen nur, wenn wir dieses eine Opt-out
Ralf Bendrath: kriegen, aber dann auch richtig.
Ralf Bendrath: Und am Ende werden wohl nur die Grünen und die Linken dagegen stimmen.
Ralf Bendrath: ID ist noch ein bisschen unklar. Die würden normalerweise als gute Populisten
Ralf Bendrath: auch irgendwie auf den Zug aufspringen und sagen, da sind wir dagegen.
Ralf Bendrath: Wir verkaufen nicht unsere Gesundheitsdaten an Big Pharma.
Ralf Bendrath: Aber die haben zufälligerweise die Berichterstatterin, Liebe Ausschuss,
Ralf Bendrath: weil das sonst niemand wollte.
Ralf Bendrath: Und das ist per Dehont bei denen gelandet. Und da sehe ich jetzt nicht,
Ralf Bendrath: dass die da großen Rückzieher macht, wenn sie selber Co-Berichterstatterin ist. ist.
Ralf Bendrath: Aber verhandelt wurde es im Prinzip alles von dem EVP Berichterstatter im Umwelt-
Ralf Bendrath: und Gesundheitsausschuss.
Ralf Bendrath: Ja, das ist das. Morgen Abend geht das den Bach runter.
Thomas Lohninger: Ja, noch nicht. Also gibt man einen Brief, aber ich wiederhole jetzt nochmal oder fasse zusammen.
Thomas Lohninger: Also wir haben ein EU-Gesetz, das die Digitalisierung von allen Patientinnenakten
Thomas Lohninger: und wahrscheinlich auch sonstigen.
Thomas Lohninger: Gesundheitsbezogenen Daten aus dem in Krankenhäusern, Arztpraxen und sonstigen
Thomas Lohninger: Einrichtungen miteinander vernetzt.
Thomas Lohninger: Opt-out oder Opt-in kann es geben, wenn der Mitgliedstaat das vorsieht für diese Primärnutzung.
Thomas Lohninger: Aber bei der Sekundärnutzung, die eigentlich ja die kritischere ist,
Thomas Lohninger: weil da geht es nicht nur um das Gesundheitssystem, sondern da geht es um Forschung.
Thomas Lohninger: Und das heißt auch pharmakologische Forschung. Das heißt auch,
Thomas Lohninger: dass hier ganz viele andere Interessenträger auf einmal Zugriff auf sehr sensible Daten bekommen.
Thomas Lohninger: Wir haben auch schon mehrmals diskutiert, dass solche Gesundheitsdaten sehr
Thomas Lohninger: schwer bis gar nicht zu anonymisieren sind, weil das ist einfach sehr einzigartig bei Menschen.
Thomas Lohninger: Wenn ich als Arbeitgeber weiß, wenn du im Krankenstand bist,
Thomas Lohninger: wenn du geimpft wurdest oder du das auf Social Media postest,
Thomas Lohninger: finde ich dich wieder in diesen Datensets.
Thomas Lohninger: Es gibt dazu auch eine Klage meines Wissens von der GFF,
Thomas Lohninger: die da auch in Deutschland höchstgerichtlich dagegen vorgehen,
Thomas Lohninger: gegen diese Sekundärnutzung anhand von einem Menschen, der halt sehr einzigartige
Thomas Lohninger: Blutwerte oder sonstige Werte hat und da auch sehr leicht zu reidentifizieren ist.
Thomas Lohninger: Das halte ich für eine ganz große Gefahr. Das ist vielleicht auch nochmal zu
Thomas Lohninger: sagen, das hier ist so eine sogenannte Lex Spezialis zur DSGVO, oder?
Thomas Lohninger: Das etabliert eine Ausnahme von unserem Grundrecht auf Datenschutz für diesen eigenen Bereich hier.
Thomas Lohninger: Und ich meine...
Thomas Lohninger: Also morgen wird das sozusagen, kannst du da vielleicht auch mal aus dem Nähkästchen
Thomas Lohninger: plaudern, wie läuft denn sowas ab, so eine Trilog-Sitzung, also wie viele Leute
Thomas Lohninger: sind da im Raum, wie lange wird da verhandelt, was erwartet dich da morgen?
Ralf Bendrath: Morgen könnte es relativ schnell gehen. Also der letzte Trilog letzten Donnerstagabend,
Ralf Bendrath: der hat um 18 Uhr angefangen, war ungefähr morgens um fünf zu Ende ohne Ergebnis,
Ralf Bendrath: weil das Parlament da noch die Linie gehalten hat.
Ralf Bendrath: Und jetzt haben aber alle Fraktionen intern nochmal geguckt,
Ralf Bendrath: sind wir noch ein bisschen flexibler oder so. Die Mitgliedstaaten dagegen haben nicht geguckt.
Ralf Bendrath: Es gab heute noch mal Sitzung der Botschafter.
Ralf Bendrath: Da war das Thema gar nicht auf der Tagesordnung.
Ralf Bendrath: Also die Belgier haben gar nicht erst versucht, noch mehr Flexibilität für sich
Ralf Bendrath: selber zu kriegen, sondern haben nur gesagt, hier, liebes Parlament,
Ralf Bendrath: wenn ihr noch mal flexibler werdet, dann können wir es nächste Woche noch mal versuchen.
Ralf Bendrath: Weil morgen ist sozusagen die letzte Deadline, um vor der Europawahl noch ein Gesetz abzuschließen.
Ralf Bendrath: Weil das dann alles noch irgendwie sprachlich aufgeräumt werden und noch abgestimmt
Ralf Bendrath: werden muss und so weiter.
Ralf Bendrath: Also morgen kann es relativ schnell gehen. Da sitzt dann normalerweise der belgische
Ralf Bendrath: Minister, Gesundheitsminister, die Berichterstatter vom Parlament,
Ralf Bendrath: vielleicht noch ein Vorsitzender oder Vize-Vorsitzender vom Umweltausschuss.
Ralf Bendrath: Der Vorsitzende vom Innenausschuss kommt zu solchen Verhandlungen nie,
Ralf Bendrath: obwohl das könnte. Das ist aber ganz gut so, weil der ist immer so ein bisschen verwirrt.
Ralf Bendrath: Der könnte da nur Unsinn reinbringen. Und dann sitzen da halt noch die Kommission,
Ralf Bendrath: das ist dann wahrscheinlich die Kommissarin,
Ralf Bendrath: Kiria Kiedis, die Gesundheitskommissarin, und alle Fraktionen,
Ralf Bendrath: manche mit Abgeordneten richtig vertreten, viele aber, weil jetzt gerade Straßburg-Woche
Ralf Bendrath: war und die schon längst ihre Flüge nach Hause gebucht hatten in die ganzen
Ralf Bendrath: Mitgliedstaaten und so, die werden jetzt nicht morgen alle nach Brüssel fahren.
Ralf Bendrath: Also von uns wird auch keiner dabei sein, weil die alle Verpflichtungen schon woanders hatten.
Ralf Bendrath: Aber dann sitze halt ich da mit meiner Kollegin aus dem Umwelt- und Gesundheitsausschuss,
Ralf Bendrath: unserem digitalen Koordinator, der Nachfolger von Arneka an dem Job,
Ralf Bendrath: Francesco, noch ein paar Abgeordneten, Mitarbeitende.
Ralf Bendrath: Juristische Dienste sind da immer vertreten, oft auch die Sprachjuristen. Das sind dann so...
Ralf Bendrath: 20 bis 30 Leute vielleicht in so einem Setting. Und reden tun aber eigentlich
Ralf Bendrath: nur der Rapporteur, also der Berichterstatter,
Ralf Bendrath: in diesem Fall eigentlich in der Regel der ENVI, also Gesundheits- und Umweltausschuss-Rapporteur
Ralf Bendrath: von den Konservativen, der belgische Minister und die Kommissarin. darin.
Ralf Bendrath: Und dann gibt es manchmal so Punkte, wo man dann sagt, okay,
Ralf Bendrath: das Parlament muss sich mal kurz zurückziehen,
Ralf Bendrath: dann gibt es nebenan irgendeinen sogenannten Breakout-Room, wo dann sogar so
Ralf Bendrath: ein Patrick Breyer zum Beispiel, der das für uns auf der Datenschutzseite macht,
Ralf Bendrath: sich online dazuschalten kann und dann wird halt intern in einer Parlamentsdelegation
Ralf Bendrath: beraten, okay, Leute, wir haben jetzt hier ein neues Angebot von den Belgiern,
Ralf Bendrath: können wir das irgendwie mittragen oder ist das immer noch nicht gut genug,
Ralf Bendrath: können wir einen Gegenvorschlag machen oder so.
Ralf Bendrath: Und dann müssen halt sozusagen die Fraktionen der Reihe nach sagen,
Ralf Bendrath: wie weit sie gehen können.
Ralf Bendrath: Und dann muss der Berichterstatter gucken, wie er damit umgeht,
Ralf Bendrath: ob er jetzt eine Mehrheit findet für den Kompromiss oder nicht.
Ralf Bendrath: Manchmal gibt es auch Situationen, wo der Berichterstatter einfach sagt,
Ralf Bendrath: ich habe jetzt hier keine klare Mehrheit, ich lasse es einfach darauf ankommen.
Ralf Bendrath: Wir nehmen das Ding jetzt mal so an und gehen damit in die Ausschüsse und dann
Ralf Bendrath: ins Plenum und gucken, ob wir eine Mehrheit kriegen. Das ist aber eher selten.
Ralf Bendrath: Das kann aber teilweise bei komplexeren Gesetzen, hier sind jetzt noch ein paar
Ralf Bendrath: Fragen offen, unter anderem auch die Frage der Lokalisierung,
Ralf Bendrath: weil das EP die Daten in Europa speichern wollte und nicht irgendwo auswärts.
Ralf Bendrath: Und der Rat sagt aber, nee, nach DSPVO kann man die doch auch in den USA transferieren,
Ralf Bendrath: weil da gibt es ja eine Angemessenheitsentscheidung und so. Also das sind aber
Ralf Bendrath: nur vier, fünf Punkte, die noch offen sind.
Ralf Bendrath: Die kann man morgen relativ schnell abkaspern, weil eigentlich fast alle außer
Ralf Bendrath: uns und den Linken schon angedeutet haben heute Morgen, dass sie da mitgehen können.
Ralf Bendrath: Es gibt auch andere Beispiele. Da können wir vielleicht gleich zum AI-Act noch
Ralf Bendrath: was zu erzählen, weil da haben wir, glaube ich, den bisher längsten Trilog gehabt.
Ralf Bendrath: Der hat insgesamt 39 Stunden gedauert.
Thomas Lohninger: Darauf kommen wir gleich. Aber ich will nur kurz innehalten,
Thomas Lohninger: dass das so kurz vor einer Europawahl ziemlicher Wahnsinn ist,
Thomas Lohninger: als hier eine Massenenteilung von Gesundheitsdaten irgendwie auf den Weg zu
Thomas Lohninger: bringen. Also eigentlich müsste das doch morgen scheitern.
Thomas Lohninger: Und wenn es das nicht im Trilog tut, dann hätte man nur noch die Chance,
Thomas Lohninger: das im Plenum in zweiter Lesung zu verhindern, oder?
Ralf Bendrath: In erster Lesung. Wir sind noch im First Reading Procedure. Es geht dann also
Ralf Bendrath: jetzt Ende April ins Plenum, ja. Das letzte Plenum vor der Europawahl.
Ralf Bendrath: Da könnte man noch einen Antrag stellen, das muss man gar nicht,
Ralf Bendrath: man kann auch dagegen stimmen.
Ralf Bendrath: Und wenn eine Mehrheit der Abgeordneten dagegen stimmt, dann ist es tot,
Ralf Bendrath: klar. Aber das sehe ich einfach nicht.
Ralf Bendrath: Aber macht gerne Kampagne. Wir sind dabei.
Tim Pritlove: Vielleicht hilft ja die German Vote am Ende.
Ralf Bendrath: Nee, in dem Fall hat Deutschland damit kein Problem.
Tim Pritlove: Okay.
Ralf Bendrath: Das war eher so, dass man irgendwie dann aus Verhandlerkreisen im Rat hört,
Ralf Bendrath: dass die deutschen Vertreter oder Vertreterinnen einer Ratsarbeitsgruppe, das ist ja SPD,
Ralf Bendrath: Lauterbach, Gesundheitsminister, dass die sich dann abschätzig über den Bundesdatenschutzbeauftragten
Ralf Bendrath: Ulrich Kelber äußern, der auch SPD-Mitglied ist, weil die sich anscheinend mit
Ralf Bendrath: dem inzwischen so überworfen haben, dass sie über ihn nur noch schlecht reden können.
Ralf Bendrath: Also unsäglich.
Ralf Bendrath: Vielleicht noch kurz eine Klarstellung, damit das nicht in den falschen Hals kommt.
Ralf Bendrath: Es ist schon so, das muss man auch anerkennen, dass die Daten,
Ralf Bendrath: wenn sie für sekundäre Nutzung freigegeben werden, da muss erst ein Antrag gestellt
Ralf Bendrath: werden und die sogenannten Health Data Access Bodies, also in der Regel irgendwelche
Ralf Bendrath: Abteilungen im Gesundheitsministerium oder so, müssen das dann genehmigen.
Ralf Bendrath: Die Daten werden dann nicht einfach an Big Pharma übermittelt,
Ralf Bendrath: so als riesengroßer Patentendatensatz, sondern die werden nur von dem Health
Ralf Bendrath: Data Access Body in einem sicheren Processing, in einer sicheren,
Ralf Bendrath: Datenverarbeitungsumgebung, Secure Processing Environment, bereitgestellt und
Ralf Bendrath: da muss sozusagen dann der Antragsteller kommen und seinen Algorithmus zu den
Ralf Bendrath: Daten bringen. Der kriegt aber die Daten nicht mit nach Hause geliefert.
Ralf Bendrath: Also die Daten gehen sozusagen nicht raus, Aber es sind natürlich trotzdem meine
Ralf Bendrath: Daten und ich als Patient will selber entscheiden können, ob die irgendjemand
Ralf Bendrath: für Forschungszwecke oder so verarbeiten kann, egal wo und unter welchen Umständen.
Tim Pritlove: Alright. Gut, dann schlage ich mal vor, schlage mal hier das Buch erstmal zu,
Tim Pritlove: zu dem Thema und kommen auf unseren Kernthema, der AI-Act. Perfekt.
Tim Pritlove: Und Annika, da bist du ja sehr engagiert gewesen, wenn ich das richtig verstanden habe.
Tim Pritlove: Kannst du vielleicht mal anfangen und nochmal kurz erläutern,
Tim Pritlove: was so die Genese dieses Acts war?
Tim Pritlove: Also was genau ist hier der Trigger gewesen, damit es überhaupt dazu kam?
Tim Pritlove: Und was sind sozusagen die politischen Zielsetzungen, die sich hier letzten
Tim Pritlove: Endes Bahn gebrochen haben?
Arnika Zinke: Also vielleicht mag Ralf die Genese kurz machen, weil ich möchte nicht über
Arnika Zinke: eine Zeit reden, wo ich noch nicht da war und Ralf war schon dabei.
Arnika Zinke: Deswegen kann Ralf vielleicht kurz die Genese machen und ich kann das Gesetz
Arnika Zinke: kurz erklären dann und was alles dann während der Verhandlungen passiert ist.
Ralf Bendrath: Das fing schon vor ein paar Jahren an, ich glaube nach einer letzten Legislatur
Ralf Bendrath: sogar, da gab es einen Initiativbericht im Rechtsausschuss von Mehdi Delvaux
Ralf Bendrath: aus Irland, der hieß zu Robotics and Civil Liability.
Ralf Bendrath: Da wurde unter anderem diskutiert, ob wenn ein Roboter oder eine KI selbstständig
Ralf Bendrath: Entscheidungen trifft, ob die dann nicht auch selber wie eine Art juristische
Ralf Bendrath: Person werden sollte, die dann auch Verantwortlichkeit dafür kriegt und sowas.
Ralf Bendrath: Wo dann zum Glück am Ende der Diskussion rauskam, nein, ganz klar,
Ralf Bendrath: die Verantwortung liegt immer bei einem Menschen.
Ralf Bendrath: Eine KI kann nicht für irgendwas verantwortlich gemacht werden.
Ralf Bendrath: Die kann ja auch nicht in den Knast gehen oder so. Jemand würde das nichts ausmachen.
Ralf Bendrath: Aber die hatte einen ganz schönen Einstieg damals in ihren Erwägungsgründen.
Ralf Bendrath: Da stand dann unter anderem drin, dass vom klassischen Pygmalion-Mythos der
Ralf Bendrath: Antike über Frankensteins Monster von Mary Shelley und der Prager Golem-Legende
Ralf Bendrath: bis zum Roboter von Karel Čapek,
Ralf Bendrath: der dieses Wort geprägt hat, Menschen über die Möglichkeit fantasiert haben,
Ralf Bendrath: intelligente Maschinen zu bauen.
Ralf Bendrath: In den meisten Fällen Androiden mit menschlichen Zügen.
Ralf Bendrath: Fand ich mal einen schönen Einstieg in so einen Initiativbericht,
Ralf Bendrath: so ein bisschen poetischer als normal.
Ralf Bendrath: So, und dann ging so ein bisschen hier überall, das hieß damals teilweise noch
Ralf Bendrath: Big Data, wurde überall darüber diskutiert, dass man jetzt Möglichkeiten hat,
Ralf Bendrath: mit den großen Datenmengen auch viele Maschinen zu trainieren und damit lustige Sachen zu machen.
Ralf Bendrath: Und dann hat die Kommission, die hatte vorher noch so eine High-Level-Expert-Group
Ralf Bendrath: eingerichtet und so weiter, dann hat die Kommission angekündigt,
Ralf Bendrath: sie werden ein Gesetz vorlegen zum Thema KI-Regulierung, das erste weltweit.
Ralf Bendrath: Und dann wurde hier plötzlich hektische Betriebsamkeit ausgelöst.
Ralf Bendrath: Da haben, glaube ich, in sieben Ausschüssen wurden dann Initiativberichte gemacht,
Ralf Bendrath: also von Grundrechteaspekten über Bildung bis hin zu Sicherheit und Verteidigung
Ralf Bendrath: und so, wo überall KI vielleicht eine Rolle spielen könnte und was man da machen sollte.
Ralf Bendrath: Und parallel gab es noch einen Sonderausschuss zum Thema KI,
Ralf Bendrath: wo Axel Voss von der CDU Berichterstatter war.
Ralf Bendrath: Auch ein bisschen bescheuerte Doppelarbeit. Da macht man sieben Initiativberichte
Ralf Bendrath: parallel und noch einen Sonderausschuss parallel.
Ralf Bendrath: Aber irgendwie wollte die Mehrheit im Haus das so.
Ralf Bendrath: Und Axel Voss hat dann in seinem Berichtsentwurf versucht, so ein bisschen auch
Ralf Bendrath: Mady Delvaux mit ihrem Roboterbericht zu imitieren, in dem auch ein bisschen
Ralf Bendrath: poetisch wurde. Aber der hat dann einfach nur Unsinn reingeschrieben.
Ralf Bendrath: Da stand dann zum Beispiel drin, dass KI das fünfte Element sein wird,
Ralf Bendrath: neben Erde, Wind, Feuer und Wasser, was uns immer umgeben wird und so.
Thomas Lohninger: Schon fast homöopathisch, okay. Okay.
Ralf Bendrath: Also, naja, und dann kam der Kommissionsvorschlag für das Gesetz,
Ralf Bendrath: das war etwa vor drei Jahren, ne?
Ralf Bendrath: Annika, ich weiß gerade gar nicht mehr.
Arnika Zinke: Ja, vor drei Jahren im April 2021. Genau.
Ralf Bendrath: Dann kam der Vorschlag und dann hat relativ schnell der Justizausschuss Axel
Ralf Bendrath: Voss zum Berichterstatter gemacht für die Gesetzgebung.
Ralf Bendrath: Und dann haben aber alle anderen Fraktionen sich plötzlich zusammengetan und
Ralf Bendrath: haben eine neue Fraktion gegründet, die sogenannte ABV Group, Anybody But Voss.
Ralf Bendrath: Es wollte einfach niemand außer Axel Voss selber, dass er der fehlerführende
Ralf Bendrath: Berichterstatter im fehlerführenden Ausschuss wird. Deswegen war klar,
Ralf Bendrath: der Rechtsausschuss ist schon mal raus.
Ralf Bendrath: Und dann wurde ziemlich lange hin und her verhandelt.
Ralf Bendrath: Und am Ende, so wirklich am letzten Tag der Deadline, glaube ich,
Ralf Bendrath: kam dann in der Konferenz der Fraktionsvorsitzenden ein Vorschlag von den Sozialdemokraten,
Ralf Bendrath: dass doch ein gemeinsames Verfahren werden sollte zwischen dem Ausschuss für
Ralf Bendrath: bürgerliche Freiheiten, Justiz und Inneres, weil der für die Grundrechte zuständig ist,
Ralf Bendrath: und dem Binnenmarktausschuss,
Ralf Bendrath: weil die Kommission dieses KI-Gesetz auch in Form von so einem,
Ralf Bendrath: auf den Markt bringen Gesetz, was für Regeln muss ich einhalten,
Ralf Bendrath: wenn ich KI auf den Markt bringen will, vorgeschlagen hat.
Ralf Bendrath: Und das waren dann am Ende federführende Berichterstatter, Sozialdemokraten
Ralf Bendrath: im Binnenmarktausschuss und Liberale im Grundrechte- und Innenausschuss.
Ralf Bendrath: So kam das.
Tim Pritlove: Das ist also alles sozusagen auch von dieser europäischen Sicht des Maschinenmenschen,
Tim Pritlove: so Frankenstein und so weiter. Wir haben ja im Westen eine sehr negativ konnotierte
Tim Pritlove: Sicht auf diese ganze… Hast du recht, ne?
Tim Pritlove: Naja gut, ich meine, gehen wir mal nach Japan, da ist einfach eine ganz andere Grundhaltung dazu.
Tim Pritlove: Da hast du sozusagen so die Maschine, der Freund des Menschen und wann auch
Tim Pritlove: immer Robotik in Japan ein Thema ist, dann geht es immer sofort um Assistenzsysteme,
Tim Pritlove: helfen, Pflege und so weiter.
Tim Pritlove: Das ist so das, was da immer im Vordergrund steht und es hat natürlich auch
Tim Pritlove: viel mit so einer kulturellen Prägung zu tun, die hier definitiv ein bisschen
Tim Pritlove: dystopischer ausfällt als jetzt in anderen Kulturen.
Ralf Bendrath: Ja, aber es passt auch, glaube ich, ganz gut in die Linie der ganzen europäischen
Ralf Bendrath: Digitalgesetzgebung der letzten fast zehn Jahre jetzt, was sozusagen mit der
Ralf Bendrath: Datenschutzgrundverordnung ja angefangen hat und dann mit dem Digitalen Dienste
Ralf Bendrath: Gesetz, Digitale Märkte Gesetz,
Ralf Bendrath: Data Act, Data Governance Act und so weiter, oder jetzt hier Cyber Resilience Act,
Ralf Bendrath: dass man einfach nach und nach jetzt besser verstanden hat, was sind denn wirklich
Ralf Bendrath: die echten Risiken und Gefahren bei den ganzen neuen Technologien,
Ralf Bendrath: vor allem, wenn die in der Masse ausgerollt werden und jetzt versucht,
Ralf Bendrath: langsam mal die Sachen wieder einzufangen.
Tim Pritlove: Das ist aber ein guter Punkt, weil während wir bei den anderen Sachen ja schon
Tim Pritlove: das auch alles sehr lange beobachten oder jetzt verhältnismäßig lange,
Tim Pritlove: ja, also das Internet und so Computer etc., das ganze Digitalwesen begleitet uns ja jetzt,
Tim Pritlove: sagen wir mal, die europäische Gesellschaft vielleicht aktiv seit Mitte der
Tim Pritlove: 90er Jahre so wirklich, würde ich mal sagen, ungefähr. ungefähr.
Tim Pritlove: Und jetzt haben wir natürlich auch schon eine gewisse Zeit gehabt.
Tim Pritlove: Während jetzt dieses AI-Thema ist ja relativ frisch.
Tim Pritlove: Also im Vergleich zu den anderen Themen habe ich so den Eindruck,
Tim Pritlove: wird das relativ früh aufge...
Tim Pritlove: Also das wird nicht mal ein relativ schneller Vorstoß. Sonst sagt man immer,
Tim Pritlove: ja, die Politik reagiert ja nicht und jetzt ist das für uns schon alles so die
Tim Pritlove: Realität und die Politik kommt nicht mit.
Tim Pritlove: Und jetzt habe ich so fast so den Eindruck, jetzt schlägt es komplett um und
Tim Pritlove: jetzt wird AI zu einem Zeitpunkt reguliert,
Tim Pritlove: wo glaube ich noch nicht mal eine wirklich klare Vorstellung davon existiert,
Tim Pritlove: was es jetzt eigentlich genau ist oder macht oder was jetzt wirklich die realen
Tim Pritlove: Bedrohungen und Chancen und Risiken sind,
Tim Pritlove: um in dieser klassischen Abwägungsgeschichte zu bleiben.
Ralf Bendrath: Ja, da hast du sicher recht.
Arnika Zinke: Ja, und das war, glaube ich, auch sehr bewusst so gemacht, weil eben auch auf
Arnika Zinke: die konstante Kritik irgendwie reagiert wurde, dass wir immer so spät dran wären.
Arnika Zinke: Also gerade bei dem Digitalen Dienstegesetz war es ja auch so,
Arnika Zinke: dass es hieß, ja, also wir haben so verschiedenste Probleme,
Arnika Zinke: gerade mit den großen Plattformen.
Arnika Zinke: Und warum braucht da die EU so lange?
Arnika Zinke: Und das war dann schon irgendwie so ein selbsterklärtes Ziel,
Arnika Zinke: auch von von der Leyen da wirklich irgendwie fortzubreschen und irgendwie mit
Arnika Zinke: diesem Brussels-Effekt quasi zu reiten und da für KI was vorzulegen.
Arnika Zinke: Wobei ich finde allein der Name AI Act, und es wurde auch viel kritisiert,
Arnika Zinke: nicht ganz unproblematisch ist, weil es ja eigentlich auch um automated decision making geht,
Arnika Zinke: beziehungsweise, ja, dass auch nicht ganz klar war, ob dann automated decision
Arnika Zinke: making auch in dem Begriff Artificial Intelligence fällt oder nicht.
Arnika Zinke: Aber AI Act klingt halt besser als automated decision making law.
Arnika Zinke: Also das war auch ein bisschen ein PR.
Tim Pritlove: Ja, guter Punkt. Genau. Und das ist ja dann wiederum etwas, was schon länger diskutiert wird.
Tim Pritlove: Man sieht das ja hier auch so Algorithm Watch und ähnliche Gruppen haben sich
Tim Pritlove: ja da auch schon lange mit dieser Problematik beschäftigt.
Tim Pritlove: Also wer fällt die Entscheidung und damit natürlich auch verbunden,
Tim Pritlove: wer ist am Ende haftbar für falsch getroffene Entscheidungen und das hinterfragt
Tim Pritlove: halt sowohl einfache Algorithmen,
Tim Pritlove: die nun durch AI gleich nochmal ein Level weniger nachvollziehbar werden potenziell.
Arnika Zinke: Genau. Und es ist jetzt so, um kurz das Gesetz zu erklären,
Arnika Zinke: also ich würde sagen, es ist jetzt im Vergleich zu den anderen Gesetzen vielleicht
Arnika Zinke: etwas innovationsfreundlicher gedacht worden,
Arnika Zinke: in dem Sinne, dass in dem Gesetz eben auch diese, zum Beispiel diese innovativen,
Arnika Zinke: ich weiß gar nicht den Begriff, aber Sandboxes heißt es auf Englisch, Sandkisten.
Ralf Bendrath: Reallabore heißen die auf Deutsch.
Arnika Zinke: Noch nachgeschöpft werden muss. Also es gab quasi ein eigenes Kapitel für Measures
Arnika Zinke: for Innovation, um eben auch die quasi so ein bisschen industriepolitisch auch
Arnika Zinke: zu mehr KI-Systeme in Europa zu generieren.
Arnika Zinke: Weil im Vergleich dazu zum Beispiel die Systeme, die verboten werden,
Arnika Zinke: im Kommissionsvorschlag ja eigentlich sehr dünn waren.
Arnika Zinke: Also es gab ein Verbot für biometrische Massenüberwachung in Echtzeit,
Arnika Zinke: aber dann auch wieder mit ziemlich großen Ausnahmen. Unter anderem,
Arnika Zinke: wenn man zum Beispiel Missing Children, also Kinder sucht.
Arnika Zinke: Es gab ein Verbot für Social Scoring, das aber so limitiert geschrieben war,
Arnika Zinke: dass es eigentlich wirklich nicht wirklich was anwendbar gewesen wäre.
Arnika Zinke: Wäre, klingt aber gut, wenn man eine PR-Mitteilung dazu macht.
Arnika Zinke: Und dann das, was die KI-Provider, also die Hersteller, danke.
Arnika Zinke: Es ist wirklich manchmal schwierig, wenn man immer in Englisch arbeitet und
Arnika Zinke: dann versucht, alles auf Deutsch zu übersetzen.
Arnika Zinke: Genau, also dass die Hersteller einfach eigentlich nur dann etwas zu erfüllen
Arnika Zinke: hatten, wenn sie als Hochrisiko eingestuft wurden.
Arnika Zinke: Das heißt, es gab zwar diese Pyramide, die vielleicht auch einige schon gesehen
Arnika Zinke: haben, quasi welche Bereiche das KI-Gesetz quasi umfasst.
Arnika Zinke: Und oben auf der Pyramide sind die verbotenen KI-Systeme, was ja eigentlich
Arnika Zinke: de facto so gut wie nichts ist.
Arnika Zinke: Dann gibt es quasi einen mittleren Bereich mit Hochrisiko, wo dann alles,
Arnika Zinke: was quasi zu erfüllen ist im KI-Gesetz, quasi nur in diesem Bereich fällt und
Arnika Zinke: alle Regelungen quasi nur in dem Bereich zu erfüllen sind.
Arnika Zinke: Und dann gibt es noch einen untersten Bereich, das ist Low-Risk oder Minimum-Risk,
Arnika Zinke: also quasi die wenigst Risiko-KI-Systeme, die ein paar Transparenzpflichten erfüllen mussten.
Arnika Zinke: Das heißt, diese Pyramide, die die Kommission da quasi auch vorgestellt hat,
Arnika Zinke: ist eigentlich recht verwirrend, weil letztlich ist es ein Gesetz für ein paar
Arnika Zinke: Pseudoverbotene KI-Systeme gewesen und das, was sie als Hochrisiko begriffen haben.
Arnika Zinke: Und der Begriff Hochrisiko ist ja auch eigentlich recht problematisch,
Arnika Zinke: weil da will ja auch kein Hersteller eigentlich reinfallen.
Arnika Zinke: Also kein Hersteller, der sein KI-System irgendwie schon verkaufen will,
Arnika Zinke: außer es ist wirklich für einen Bereich, der hochproblematisch ist,
Arnika Zinke: möchte wirklich in den Hochrisikobereich fallen.
Arnika Zinke: Und das ist, glaube ich, auch ein Begriff, der uns negativ durch die ganzen
Arnika Zinke: Verhandlungen verfolgt hat.
Arnika Zinke: Genau, nur um das fertig zu erklären, was Hochrisiko ist und was nicht,
Arnika Zinke: ist in dem sogenannten Annex Free,
Arnika Zinke: wenn ich das richtig im Kopf habe, festgeschrieben, das sind quasi verschiedene
Arnika Zinke: Bereiche, die von Bildung bis Migration, Arbeitsverhältnisse gehen,
Arnika Zinke: wo verschiedene Kaisersysteme,
Arnika Zinke: Strafverfolgung genau, reingegeben
Arnika Zinke: wurden, die potenziell in diesen Hochrisikobereich fallen könnten.
Arnika Zinke: Und genau, also das ist so mal ein bisschen die Logik und auch nochmal darauf
Arnika Zinke: zurückzukommen, was Ralf vorhin gesagt hat,
Arnika Zinke: es ist eben in diesem Produktsicherheitsgesetzesrahmen eingebettet worden.
Arnika Zinke: Das heißt, KI wird als Produkt begriffen, was auch schon nicht ganz unproblematisch ist.
Arnika Zinke: Und das wurde auch, also man munkelt, dass es auch deswegen gemacht wurde,
Arnika Zinke: damit das Gesetz eben nicht nur im Justizausschuss landet, sondern eben auch
Arnika Zinke: im Binnenmarktausschuss, wo ja alles, was Produktsicherheit betrifft, behandelt wird.
Arnika Zinke: Also das ist auch schon bewusst von der Kommission so gewählt worden,
Arnika Zinke: nicht unbedingt, weil sie KI unbedingt als Produkte sehen wollten,
Arnika Zinke: sondern auch, weil man dann vielleicht,
Arnika Zinke: und das sieht man auch bei anderen Gesetzen, schon beeinflussen will,
Arnika Zinke: in welchem Ausschuss das Gesetz landet, was dann ja auch wiederum Einfluss darauf
Arnika Zinke: hat, wie die Parlamentsposition aussehen wird.
Arnika Zinke: Also wenn es nur im Liebe landet, dann wird die Parlamentsposition relativ hohe
Arnika Zinke: Wahrscheinlichkeit progressiver ausfallen, als wenn es nur im Idre landet,
Arnika Zinke: was der Industrie- und Wissenschaftsausschuss ist,
Arnika Zinke: der traditionell immer recht konservativ, liberal und wirtschaftsfreundlich ist.
Tim Pritlove: Ich habe nochmal eine Nachfrage. Nur mal zu diesem Begriff Hochrisiko.
Tim Pritlove: Risiko in Bezug auf wen oder was? Also wie ist dieser Begriff gedacht?
Tim Pritlove: Für wen soll was wie ein Risiko sein, damit das da reinfällt?
Arnika Zinke: Also es ist zum einen der Bereich, in dem es verwendet wird,
Arnika Zinke: also zum Beispiel Immigration und zum anderen auch quasi, welchen Impact es
Arnika Zinke: haben kann, also welche Einflüsse es quasi auf Menschen haben kann.
Arnika Zinke: Also zum Beispiel eben im schulischen Bereich, dass wenn die Systeme quasi nicht
Arnika Zinke: gut getestet sind oder starken Bias haben oder Cybersecurity-Probleme haben,
Arnika Zinke: dass sie dann ein höheres Risiko quasi darstellen oder potenziell mehr Schaden
Arnika Zinke: anrichten könnten als ein Chatbot zum Beispiel.
Arnika Zinke: Wobei ich argumentieren würde, dass auch Chatbots Schäden anrichten können.
Tim Pritlove: Also Risiko im Sinne von Gefährdung für Menschen.
Thomas Lohninger: Also ich erinnere mich noch irgendwie, wenn man so Lobbyisten zugehört hat,
Thomas Lohninger: bevor das Gesetz vorgestellt wurde,
Thomas Lohninger: hatten die auch schon diese Idee der Pyramide und die haben halt so plakativ gemeint,
Thomas Lohninger: ganz oben ist automatisierte Tötung, wenn die Drohne dich umbringt oder dass
Thomas Lohninger: ein Mensch noch irgendwas dafür tun muss und ganz unten ist der Algorithmus,
Thomas Lohninger: der Schrauben sortiert,
Thomas Lohninger: der gar nicht reguliert wird und dazwischen überlegen wir uns dann irgendwas.
Thomas Lohninger: Aber das ist halt in der Praxis dann umzusetzen super schwierig,
Thomas Lohninger: weil auch so Dinge, wo sich die Zivilgesellschaft massiv dafür eingesetzt hat,
Thomas Lohninger: wie zum Beispiel das Verbot von Gesichtserkennung, Biometrie oder auch,
Thomas Lohninger: es gibt ja inzwischen so Wahrheitsdetektoren oder Emotionserkennung,
Thomas Lohninger: wo es sehr zweifelhaft ist, ob das technisch überhaupt funktioniert,
Thomas Lohninger: was da als Produkt angeboten wird.
Thomas Lohninger: Und da glaube ich, kommen wir dann auch gleich darauf zu, was denn jetzt wirklich
Thomas Lohninger: in diesem Gesetz drinnen steht.
Thomas Lohninger: Und du hast ja auch schon Migration angesprochen. Wir haben in vielen EU-Ländern
Thomas Lohninger: auch gerade bei arbeitslosen oder arbeitssuchenden Menschen den Einsatz von
Thomas Lohninger: Algorithmen, wurde teils auch schon von Höchstgerichten verboten.
Thomas Lohninger: Also da gibt es ja wirklich schon viele Fälle, die nach Regulierung schreien.
Thomas Lohninger: Was wird jetzt besser mit diesem Gesetz?
Ralf Bendrath: Vielleicht noch ganz kurz zu Tim, zu der Frage nach dem Risiko.
Ralf Bendrath: Also zum Beispiel im Artikel zur Definition, da steht unter systemisches Risiko,
Ralf Bendrath: dass ein KI dann ein systemisches Risiko hat, wenn sie einen signifikanten Impact,
Ralf Bendrath: Auswirkungen auf den ganzen Unionsmarkt hat durch ihre Reichweite oder durch
Ralf Bendrath: vernünftigerweise vorhersehbare negative Effekte auf öffentliche Gesundheit, Sicherheit.
Ralf Bendrath: Also nicht im Sinne von sozusagen innere Sicherheit, sondern Produktsicherheit,
Ralf Bendrath: Safety, nicht Security, Public Security, also öffentliche Sicherheit,
Ralf Bendrath: Grundrechte oder die Gesellschaft als Ganze.
Ralf Bendrath: Aber das ist natürlich dann auch eine intellektuelle Herausforderung.
Ralf Bendrath: Damit haben wir auch eine Weile lang gerungen am Anfang, weil dann sagt der
Ralf Bendrath: Artikel 6 zu den Hochrisiko-KI,
Ralf Bendrath: die Kommission ist ermächtigt, mit einem delegierten Rechtsakt weitere KI-Systeme
Ralf Bendrath: oder Anwendungsfälle in den Annex 3 hinzuzufügen, mit den Hochrisiko-KIs,
Ralf Bendrath: wenn diese neuen KI-Systeme oder Anwendungsfälle ein gleich hohes oder höheres Risiko haben,
Ralf Bendrath: als die, die schon im Annex 3 drinstehen. Ja, wie misst man das?
Ralf Bendrath: Wie viel ist 1,50 m KI-Risiko? Das kannst du eigentlich nicht schwer vergleichen.
Ralf Bendrath: Das ist immer von Anwendungsdomäne zu Anwendungsdomäne.
Ralf Bendrath: Haben wir echt eine Weile hin und her überlegt und dann am Ende aber gemerkt,
Ralf Bendrath: das ist eine politische Entscheidung jedes Mal.
Arnika Zinke: Ja, um jetzt auf die Frage zurückzukommen, was ändert sich quasi oder was wird jetzt besser?
Arnika Zinke: Also es ist quasi schon so, dass wir natürlich im Vergleich zur Parlamentsposition,
Arnika Zinke: die in vielen Fällen besser ist, als das, was dann beim Trilog rauskommt,
Arnika Zinke: natürlich nicht alles drin haben, was wir als Parlament angesehen haben als
Arnika Zinke: problematisch und zu verbietende KI und als Hochrisiko-KI.
Arnika Zinke: Also nur, weil du vorher noch angesprochen hattest, Emotionserkennung,
Arnika Zinke: Massenüberwachung mit Biometrie,
Arnika Zinke: die Polygraphen, das waren alles Punkte, die wir in unserer Parlamentsposition
Arnika Zinke: komplett verbannt hätten, also quasi verboten hätten.
Arnika Zinke: Und von denen wir nicht alle, aber einige in gewissen Bereichen geschafft haben, zu verbieten.
Arnika Zinke: Das eine ist eben die Emotionskennung, also quasi die basiert darauf,
Arnika Zinke: dass man denkt, dass wenn eine Person lacht, dass man davon ableiten kann,
Arnika Zinke: dass die Person quasi glücklich ist.
Arnika Zinke: Und es ist mittlerweile eindeutig bewiesen, dass das nicht funktioniert und
Arnika Zinke: dass es auch gegen Menschen, die zum Beispiel neuroatypisch sind,
Arnika Zinke: glaube ich ist das richtige Wort.
Arnika Zinke: Einfach auch falsch Emotionen erkennt und dass Emotionen einfach sich nicht
Arnika Zinke: leicht so ableiten lassen.
Arnika Zinke: Deswegen hat zum Beispiel auch Microsoft Emotionserkennung komplett aus dem
Arnika Zinke: Sortiment sozusagen genommen.
Arnika Zinke: Also die entwickeln in dem Bereich auch nicht mehr, weil sie erkannt haben,
Arnika Zinke: dass es Pseudowissenschaft ist.
Arnika Zinke: Wir haben es zwar nicht ganz durchbekommen, aber wir haben zumindest im Bereich
Arnika Zinke: am Arbeitsplatz und im schulischen Bereich Emotionserkennung komplett verboten.
Arnika Zinke: Was ein großer Gewinn für uns vor allem als Grüne war, wo man aber Emotionserkennung
Arnika Zinke: zum Beispiel noch verwenden darf.
Arnika Zinke: Und um ein Beispiel zu nennen, ist eben im Migrationsbereich,
Arnika Zinke: also zum Beispiel an Grenzen, was weiterhin hochproblematisch ist,
Arnika Zinke: weil die Probleme bestehen ja weiterhin.
Arnika Zinke: Es ist zwar Hochrisiko, aber Hochrisiko heißt halt, du musst einige weitere Regeln erfüllen.
Arnika Zinke: Das heißt, die KI muss Cybersecurity Standards erfüllen, es müssen gewisse Dokumentationen
Arnika Zinke: gemacht werden und jetzt in dem spezifischen Fall ist wahrscheinlich auch eine
Arnika Zinke: Grundrechteabschätzung notwendig, also das sogenannte Fundamental Rights Impact Assessment.
Arnika Zinke: Das war auch ein großer Gewinn für unsere Fraktion, das mit reinzukriegen.
Arnika Zinke: Dass eben nicht nur der Hersteller, sondern auch der Benutzer,
Arnika Zinke: also der, der das System quasi kauft, sondern wirklich anwendet,
Arnika Zinke: sich auch anschauen muss, was macht die KI eigentlich mit den Personen,
Arnika Zinke: auf denen ich das anwende.
Arnika Zinke: Das ist ein bisschen eine Weiterleitung von dem, was schon in den Datenschutzfolgeabschätzungen
Arnika Zinke: gemacht wird, aber eben speziell auf KI umgemünzt.
Arnika Zinke: Und das war für uns insofern ein großer Erfolg, weil das bedeutet,
Arnika Zinke: dass eben nicht nur der Hersteller, der spezifisch und kontextbasierte Anwendungen
Arnika Zinke: überhaupt nicht abschätzen kann, dass sich wirklich der Benutzer hinsetzen muss
Arnika Zinke: und sich mit der KI auseinandersetzen muss.
Arnika Zinke: Und ich glaube, dass es auch eben daraufhin, wie wir KI verstehen und wie wir
Arnika Zinke: generell, wie viel Bedeutung und können wir KI zumessen, sehr wichtig ist.
Arnika Zinke: Weil wenn das zum Beispiel von Schulen verwendet wird oder auch von Behörden,
Arnika Zinke: die vielleicht einen Datenschutzbeauftragten haben und dann das jemandem geben
Arnika Zinke: und sagen, sagen, ja, verwende das halt, um zum Beispiel Schülern zu helfen,
Arnika Zinke: in welche Fächer oder in welche Berufe sie sich dann einordnen.
Arnika Zinke: Dass es nicht einfach so angewendet wird, sondern die Personen wirklich wissen,
Arnika Zinke: okay, welche möglichen Folgen könnte das haben, wenn wir das jetzt mit unseren
Arnika Zinke: Schülern gemeinsam verwenden.
Arnika Zinke: Und ich glaube schon, dass das auch im Laufe der Zeit auch wirklich dazu führen
Arnika Zinke: wird, dass Menschen einfach besser verstehen, wie KI funktioniert und wo auch
Arnika Zinke: die Limits von KI sind, was letztlich auch eine Möglichkeit ist,
Arnika Zinke: rechtliche Folgen abzuschätzen.
Arnika Zinke: So haben wir es auch mal ein bisschen versucht zu verkaufen,
Arnika Zinke: das natürlich auch für Unternehmen, das relevant ist, abzuschätzen,
Arnika Zinke: wo sind die rechtlichen Folgen, die ich möglicherweise habe,
Arnika Zinke: wenn ich KI verwende, die nicht so gescheit ist, wie ich eigentlich glaube, dass sie ist.
Thomas Lohninger: Also eigentlich so wie bei der Datenschutzgrundverordnung, ein neuer Text,
Thomas Lohninger: den ich abnicken muss, wo theoretisch drinnen steht, was mit meinen Daten passiert
Thomas Lohninger: oder was da im Hintergrund eigentlich abläuft.
Thomas Lohninger: Also es muss erklärt werden für die NutzerInnen, was jetzt in diesem System drin ist.
Arnika Zinke: Ja, und der Benutzer muss sich halt auch wirklich damit auseinandersetzen,
Arnika Zinke: welche Personen eigentlich mit der KI interagieren oder auf welche Personen
Arnika Zinke: die KI angewendet wird und ob das zum Beispiel jetzt Personen mit dunkler Hautfarbe
Arnika Zinke: sind oder Personen, die eine Disability haben. Genau.
Arnika Zinke: Und der Unterschied zur datenschutzrechtlichen Folgenabschätzung ist,
Arnika Zinke: dass es manchmal Fälle gibt, wo es quasi einen grundrechtlichen Impact haben
Arnika Zinke: könnte, wo aber keine persönlichen Daten angewendet werden.
Arnika Zinke: Also zum Beispiel, wenn man Migrationsflüsse versucht nachzuvollziehen und daraus
Arnika Zinke: die KI irgendwelche Entscheidungen treffen lässt.
Arnika Zinke: Und gerade in diesen Bereichen, diese Randbereiche sind, die eben nicht von
Arnika Zinke: der DSGVO abgedeckt sind, ist das auch besonders wichtig.
Thomas Lohninger: Also auch sowas wie Predictive Policing, also dass die Polizei mit Algorithmen
Thomas Lohninger: versucht, vorherzusehen, welche Verbrechen in welcher Region wann passieren,
Thomas Lohninger: was ja auch ein bisschen so Pseudoscience ist.
Ralf Bendrath: Also das vielleicht ganz kurz, Predictive Policing, was sich nur auf bestimmte
Ralf Bendrath: Nachbarschaften bezieht oder sowas, das wäre noch erlaubt, würde aber unter
Ralf Bendrath: Hochrisiko fallen, müsste also eine Grundrechtefolgenabschätzung machen und alles mögliche.
Ralf Bendrath: Aber Predictive Policing über Individuen, dass die KM ja ausrechnet,
Ralf Bendrath: wie wahrscheinlich ist es, dass Thomas Lohninger in den nächsten zwei Monaten
Ralf Bendrath: eine Straftat begeht, das ist verboten.
Ralf Bendrath: Und was wir zum Beispiel auch noch verboten haben, ist das, auf Englisch heißt
Ralf Bendrath: das Facial Image Scraping, dass ich massenhaft Gesichtsbilder aus dem Internet
Ralf Bendrath: mir zusammenwühle und daraus dann eine große Datenbank mache.
Ralf Bendrath: Also Clearview AI oder PIM-Eyes ist jetzt verboten.
Thomas Lohninger: Und diese Grundrechtsabschätzungen, sind die öffentlich einsehbar?
Thomas Lohninger: Kann ich die als User sehen?
Ralf Bendrath: Die sind in der Datenbank, oder?
Arnika Zinke: Ich glaube, dass die in der Datenbank gegeben werden müssen.
Arnika Zinke: Es ist quasi eine neue EU-Datenbank geschaffen worden, wo dann diese Folgerechtsabschätzungen
Arnika Zinke: hochgeladen werden müssen, um eben mehr Transparenz zu ermöglichen.
Arnika Zinke: Das war zum Beispiel auch etwas, was nicht im Kommissionsvorschlag drinnen war
Arnika Zinke: und was uns auch sehr wichtig war, da einfach mehr Transparenz zu schaffen,
Arnika Zinke: wer das verwendet und ja, auch, dass eben diese Abschätzungen dann öffentlich sind Das war das.
Ralf Bendrath: Was die Niederländer schon machen oder Amsterdam oder so. Die haben das schon
Ralf Bendrath: in Betrieb, eine öffentliche Datenbank, wo man sowas genau nachgucken kann.
Ralf Bendrath: Davon haben wir uns inspirieren lassen.
Arnika Zinke: Sowohl die Datenbank als auch die Grundrechtefolgenabschätzung kommen beide
Arnika Zinke: aus den Niederlanden, die Idee.
Thomas Lohninger: Es gibt auch unheimlich viele zivilgesellschaftliche Projekte,
Thomas Lohninger: die einfach so mappen, welche Anwendungen von KI gibt es schon.
Thomas Lohninger: Vor allem eben in der öffentlichen Verwaltung, da wo die Leute nicht auskennen,
Thomas Lohninger: wo es kein Produkt ist. ist.
Thomas Lohninger: Und das heißt, das kommt jetzt europaeinheitlich und diese Datenbank wird dann
Thomas Lohninger: wirklich auch so alles beinhalten oder gibt es da auch wieder Ausnahmen,
Thomas Lohninger: dass zum Beispiel so Polizeimilitären nicht einmelden müssen?
Ralf Bendrath: Ganz richtig geraten, Thomas. Natürlich gibt es Ausnahmen und genau eine dieser
Ralf Bendrath: Ausnahmen ist, dass KI-Anwendungen im Strafverfolgungsbereich in die Datenbank
Ralf Bendrath: reinkommen, aber in den nicht öffentlich zugänglichen Teil.
Ralf Bendrath: Also die Aufsichtsbehörden können das weiterhin überprüfen, aber der Öffentlichkeit ist es verborgen.
Tim Pritlove: Was sind denn sozusagen da die Aufsichtsbehörden? Ich habe gelesen,
Tim Pritlove: da gibt es ein AI-Office.
Tim Pritlove: Ist das das, wovon wir reden?
Ralf Bendrath: Es gibt zwei Ebenen oder sogar drei teilweise, weil die Datenschutzbehörden,
Ralf Bendrath: wenn es um personenbezogene Daten geht, auch immer noch eine Rolle haben dabei.
Ralf Bendrath: Aber dann gibt es die Marktaufsichtsbehörden, Market Surveillance Authorities,
Ralf Bendrath: die sozusagen die Standardbehörden sind in diesem ganzen Produktsicherheits-CE-Label-Rahmenwerk.
Ralf Bendrath: Und dann gibt es aber, da kann Arneka mehr zu sagen, das ist mal diese ganze
Ralf Bendrath: Marktüberwachung, das ist alles Imco-Committee-Territorium, da halte ich mich
Ralf Bendrath: raus, das wissen die viel besser.
Ralf Bendrath: Aber es gibt dann eben auch noch das AI-Office in der Kommission.
Ralf Bendrath: Das, warte mal kurz, genau, das ist im Prinzip ein nettes Label für eine neue
Ralf Bendrath: Abteilung in der Kommission.
Ralf Bendrath: Also in der Definition steht da, das AI-Office means the commission's function
Ralf Bendrath: of contributing to the implementation, monitoring and supervision of AI systems and AI governance.
Ralf Bendrath: Das ist auch schon etabliert. Das wurde durch die Kommissionsentscheidung vom
Ralf Bendrath: 24.01.2024 schon eingerichtet.
Ralf Bendrath: Die Kommission kann ja ihre eigene interne Organisationsstruktur selber entscheiden,
Ralf Bendrath: auch wenn das Gesetz noch gar nicht da ist. Aber die fangen jetzt sozusagen
Ralf Bendrath: schon mal langsam an, Leute anzuheuern und das ganze Ding aufzubauen und so.
Ralf Bendrath: Zu den Aufgaben steht in dem einen Artikel zum AI-Office eigentlich gar nichts drin.
Ralf Bendrath: Da steht nur, das soll irgendwie das alles irgendwie koordinieren und helfen.
Ralf Bendrath: Aber da muss man sich so ein bisschen durch den Text wühlen.
Ralf Bendrath: In den einzelnen Punkten kommt dann sowas wie zum Beispiel die Entwicklung für
Ralf Bendrath: Modellverträge zwischen KI,
Ralf Bendrath: Hochrisiko-KI-Anbietern und Drittparteien, die irgendwie Komponenten und andere
Ralf Bendrath: Unterstützungs-Sachen liefern.
Ralf Bendrath: Dann, was heißt Template nochmal?
Tim Pritlove: Vorlage.
Ralf Bendrath: Eine Vorlage entwickeln für Inklusive eines automatisierten Tools,
Ralf Bendrath: damit Anbieter von KI ihre Grundrechtefolgeabschätzungen einfacher machen können.
Ralf Bendrath: Dann soll sie dabei helfen, dass die Industrie Codes of Practice entwickelt,
Ralf Bendrath: also Verhaltenskodizes.
Ralf Bendrath: Und das ist ganz interessant. Das ist immer noch eine Sache der Industrie,
Ralf Bendrath: wie bei vielen anderen Codes of Conduct oder Codes of Practice.
Ralf Bendrath: Aber da steht jetzt drin, wenn zwölf Monate nach dem Inkrafttreten des AI Act
Ralf Bendrath: diese Codes of Practice noch nicht da sind oder die Kommission, also das AI Office,
Ralf Bendrath: findet, dass die nicht gut genug sind, dann kann die Kommission selber bestimmte
Ralf Bendrath: Standards nochmal verbindlich entscheiden. Ja.
Ralf Bendrath: Dann soll das AI-Office die technische Dokumentation von General-Purpose-AI-Modellen,
Ralf Bendrath: also allgemeinen Zweck, was ist das General-Purpose?
Arnika Zinke: Allzweck-Modellen.
Ralf Bendrath: Allzweck-KI-Modellen überprüfen. Dann soll sie eine Vorlage bereitstellen für
Ralf Bendrath: eine Zusammenfassung der Inhalte, mit denen die KI trainiert wurde und so weiter und so weiter.
Ralf Bendrath: Und dann in dem eigentlichen Artikel 64, der dieses AI-Office sozusagen etabliert,
Ralf Bendrath: steht eigentlich nur, the Commission shall develop union expertise and capabilities
Ralf Bendrath: in the field of AI through the AI-Office. Und das ist eigentlich so der Kern.
Ralf Bendrath: Das war ein Tipp, den wir damals bei einer Anhörung gekriegt haben von Frances
Ralf Bendrath: Haugen, der Facebook-Whistleblowerin, die uns geraten hat, Leute,
Ralf Bendrath: es gibt nicht genug KI-Expertinnen und Experten in der Welt,
Ralf Bendrath: um alle 27 Mitgliedstaaten ihre eigenen Expertisezentren aufbauen zu lassen.
Ralf Bendrath: Das müsst ihr europäisch bündeln.
Ralf Bendrath: Und das war sozusagen die ganze Idee hinter diesem AI-Office,
Ralf Bendrath: dass man sozusagen hier einen Pool von Expertinnen und Experten hat,
Ralf Bendrath: die dann eben den Mitgliedstaaten auch sozusagen beispringen und die unterstützen
Ralf Bendrath: können bei der Umsetzung.
Tim Pritlove: Klingt jetzt nicht falsch.
Arnika Zinke: Ja, ich wollte nur noch mal sagen, dass das AI-Office auch schon eine Aufsichtsfunktion
Arnika Zinke: bei den General Purpose AI-Modellen hat.
Arnika Zinke: Und das war ein Zusatzbereich, den es im Kommissionsvorschlag nicht gegeben
Arnika Zinke: hat, nämlich diese Allzweck-Modelle.
Arnika Zinke: Und das war ein spezifischer Bereich, wo das Parlament ein komplettes Kapitel
Arnika Zinke: quasi hinzugefügt hat, weil das Parlament eben gesagt hat, okay,
Arnika Zinke: es ist so schön, dass wir KI-Systeme regulieren, aber es gibt ja ein Modell,
Arnika Zinke: das vor dem KI-System kommt, auf dem das KI-System oft basiert,
Arnika Zinke: wo quasi die Regeln eigentlich jetzt nicht da sind, vor allem,
Arnika Zinke: weil das ja alles auf dieses Hochrisiko zugemünzt ist.
Arnika Zinke: Von grüner Seite, unsere Idee war ursprünglich, dass wir sagen,
Arnika Zinke: alle Allzweckmodelle sollten alle Hochrisikoanforderungen eigentlich auch erfüllen.
Arnika Zinke: Das ging aber nicht durch und deswegen haben wir eben einen Kompromiss gefunden,
Arnika Zinke: verschiedene Anforderungen, die quasi auf den Hochrisikoregelungen basieren,
Arnika Zinke: aber quasi hochrisikoleit auch für diese Allzweckmodelle umzusetzen.
Arnika Zinke: Und da hat das KI-Büro jetzt die Funktion.
Arnika Zinke: Zu unterscheiden, welche der Modelle quasi nur die einfachen Dokumentations-
Arnika Zinke: und Transparenzpflichten erfüllen müssen oder welche Modelle quasi extra Anforderungen
Arnika Zinke: erfüllen müssen, also quasi in den Top-Tier fallen.
Arnika Zinke: Also es gibt zwei Stufen für die Modelle und Modelle, wer zum Beispiel eben GPT-free,
Arnika Zinke: worauf jetzt Chat-GPT basiert oder ja, also verschiedene Large-Language-Models
Arnika Zinke: zum Beispiel, aber auch, was auch immer in der Zukunft kommen mag,
Arnika Zinke: Und die stärkeren Regeln wären dann zum Beispiel Red Teaming,
Arnika Zinke: also interne Risikoanalyse bzw.
Arnika Zinke: Risikotesten von möglichen Problemen innerhalb des Modells.
Arnika Zinke: Und das war eben ein komplett neuer Bereich, den das KI-Gesetz selbst und die
Arnika Zinke: Kommission überhaupt nicht vorhergesehen hatte. Und die jetzt der Kommission
Arnika Zinke: deutlich mehr Macht geben, als eigentlich auch vorhergesehen war.
Arnika Zinke: Weil eigentlich war es wirklich gedacht, dass es national eben über die Market
Arnika Zinke: Surveillance Authorities und die Data Protection Authorities in jedem Mitgliedstaat
Arnika Zinke: einzeln die KI-Systeme überwacht werden.
Arnika Zinke: Und jetzt sind die ganzen Modelle ausgelagert zu dem AI-Office,
Arnika Zinke: das eben nicht nur eben die ganzen Punkte erfüllen kann, die Ralf vorhin schon
Arnika Zinke: erwähnt hat, sondern eben auch einteilen kann,
Arnika Zinke: wer das quasi Modell leiht und wer das Modell, das quasi einen höheren Impact
Arnika Zinke: hat und deswegen weitere Anforderungen erfüllen muss.
Arnika Zinke: Und das ist auch insofern interessant, weil in der Zukunft das AI-Office auch
Arnika Zinke: weitere problematische oder impactful Modelle hinzufügen kann in den Top Tier
Arnika Zinke: und deswegen ja relativ viel Macht bekommt.
Ralf Bendrath: Und wir wissen seit heute Morgen schon, wer der Chef wird.
Thomas Lohninger: Bevor wir dazu kommen, die generelle Struktur davon, dass wir das mal wiederholen.
Thomas Lohninger: Also an sich war gedacht, die ganze Rechtsdurchsetzung über diese nationalen
Thomas Lohninger: Marktaufsichtsbehörden zu machen.
Thomas Lohninger: Und jetzt ist sozusagen auf Bestreben des Parlaments hin,
Thomas Lohninger: dieses AI-Office bei der Kommission mächtiger geworden in Bezug auf das Einstufen
Thomas Lohninger: von konkreten KI-Systemen gemäß ihrem Risikogehalt.
Thomas Lohninger: Halt dieser generellen Modelle, General Purpose Modelle, da kann man sich wahrscheinlich
Thomas Lohninger: so die klassischen Large Language Models vorstellen, oder? Ja?
Thomas Lohninger: Unique. Und du hast dann aber am Ende eigentlich so welche Auflagen,
Thomas Lohninger: weil für mich ist so, das habe ich auch mit Kolleginnen schon diskutiert aus
Thomas Lohninger: der Zivilgesellschaft,
Thomas Lohninger: es ist so ein bisschen sehr weird, jetzt zu sehen, dass eine Marktaufsicht auf
Thomas Lohninger: einmal Grundrechte einhalten soll.
Thomas Lohninger: Also wo sind wir denn jetzt mal so ein Testcase von, ich weiß nicht,
Thomas Lohninger: Clearview AI haben wir vorher gesagt, das ist sowieso ganz verboten,
Thomas Lohninger: aber was gibt es denn so für Beispiele, die ihr nennen könnt,
Thomas Lohninger: wo nach eurer Lesart des Gesetzes einem Unternehmen auch Konsequenzen drohen,
Thomas Lohninger: wenn durch die eigenen Systeme wirklich Schaden auftritt bei Menschen.
Thomas Lohninger: Ist das alles nur eine theoretische Sache, wo ich eine Abschätzung irgendwo hinterlegen muss?
Thomas Lohninger: Oder kann ich da zum Beispiel auch als Betroffener klagen? Wir haben ja,
Thomas Lohninger: glaube ich, auch in der Sendung zuletzt schon diesen British Post Office Scandal diskutiert,
Thomas Lohninger: wo aufgrund eines Fehlers eines Computersystems hunderte Menschen fälschlicherweise
Thomas Lohninger: deren Existenzen zerstört wurden.
Thomas Lohninger: Ja, hätte man vielleicht im Vorhinein auch nicht gesagt, dass es ein Hochrisikosystem sein soll.
Thomas Lohninger: War es dann aber am Ende? Also würde der AI-Act bei solchen Fällen helfen und wenn ja, wie?
Arnika Zinke: Also zum einen zur AI-Liability, also quasi zu dem Schwestergesetz zur Produkthaftungsrichtlinie.
Arnika Zinke: Da warten wir ja immer noch darauf, dass es da in dem Bereich eine Entscheidung geben wird.
Arnika Zinke: Und das würde, glaube ich, vieles von den Fällen, die du gerade genannt hast,
Arnika Zinke: also wie kann ich persönlich vorgehen und persönlichen Schaden,
Arnika Zinke: Was es schon gibt, ist, dass das KI-Gesetz auch die Möglichkeit hat,
Arnika Zinke: über die Collective Redress, also kollektive Verbandsklage, dass Verbandsklagen
Arnika Zinke: quasi ermöglicht werden.
Arnika Zinke: Das heißt, wenn du quasi nachweisen kannst, dass der Hersteller zum Beispiel
Arnika Zinke: die Anforderungen nicht erfüllt
Arnika Zinke: hat im Hochrisikobereich, dann wäre zum Beispiel so eine Klage möglich.
Arnika Zinke: Wir haben auch eingeführt, dass eine individuelle Person auch zu einer nationalen
Arnika Zinke: Behörde gehen kann und sich beschweren kann, wenn man glaubt,
Arnika Zinke: dass innerhalb dieser Regulierung gewisse Pflichten nicht erfüllt worden sind.
Thomas Lohninger: Aber ich hake genau da ein. Also wenn ich jetzt ein Unternehmer bin mit einer
Thomas Lohninger: ganz bösen Absicht, so ein typischer Überwachungsschweinekonzept,
Thomas Lohninger: kann ich sozusagen hier meinen Kopf aus der Schlinge ziehen,
Thomas Lohninger: wenn ich genügend Papier produziere und über alle diese Risiken ganz viele Abschätzungen mache?
Thomas Lohninger: Oder ist am Ende der real auftretende Schaden das, was auch zu der Strafe führen kann?
Thomas Lohninger: Egal wie viel Papier ich da vielleicht rundherum mir zugekauft habe,
Thomas Lohninger: um das zu kaschen, um das irgendwie so einzukleiden.
Ralf Bendrath: Ja, wenn du es als böser Überwachungskapitalist mit einer fiesen Firma es schaffst,
Ralf Bendrath: irgendwie alle Auflagen des AI-Acts zu erfüllen, inklusive Grundrechte, Folgenabschätzung,
Ralf Bendrath: inklusive die Auflagen zu Data Governance, dass du zum Beispiel gucken musst,
Ralf Bendrath: ob in deinen Trainingsdaten irgendwelche Biases versteckt sind und wenn ja,
Ralf Bendrath: musst du das irgendwie angehen und so. Wenn du das alles schaffst, dann bist du raus.
Ralf Bendrath: Ja, ich möchte nur den fiesen Überwachungskapitalisten sehen, der das hinkriegt.
Ralf Bendrath: Aber grundsätzlich, ich glaube, die Logik ist sozusagen, wenn ein konkreter
Ralf Bendrath: Schaden entsteht, dann greift sowieso die Produkthaftungsrichtlinie jetzt,
Ralf Bendrath: weil die jetzt ja auch für alle digitalen Produkte gilt.
Ralf Bendrath: Wobei, nee, warte, die greift ja nur, wenn ich mir das Produkt selber gekauft habe. Stimmt.
Ralf Bendrath: Nicht, wenn ich Opfer von einem Produkt von jemand anderem bin.
Ralf Bendrath: Aber der AI-Act, soweit ich es im Kopf habe, aber correct me if I'm wrong, Annika,
Ralf Bendrath: der sieht Strafen und Ähnliches dann vor, wenn die Anbieter von KI-Systemen
Ralf Bendrath: oder auch die Nutzer von KI-Systemen gegen Regeln des AI-Acts verstoßen.
Ralf Bendrath: Unabhängig davon, ob am Ende ein Schaden rauskommt oder nicht.
Ralf Bendrath: Schaden kann dann immer auch noch zivilrechtlich und anders wie irgendwie eingeklagt werden.
Tim Pritlove: Aber da will ich jetzt nochmal einhaken, weil ich fand das Beispiel,
Tim Pritlove: was Thomas genannt hat, mit diesem Post-Office-Skandal eigentlich ganz plastisch,
Tim Pritlove: weil das ja eine, also da ist der negative Impact ja sehr offensichtlich,
Tim Pritlove: ja, also da sind ja, Leute haben sich ja umgebracht deswegen,
Tim Pritlove: weil eine Software falsch gerechnet hat und wie du schon sagst,
Tim Pritlove: gekauft haben sie aber das Produkt nicht, sondern sie mussten das sozusagen
Tim Pritlove: im Rahmen ihrer vertraglichen Bindung mit dem Post Office,
Tim Pritlove: UK Post Office sozusagen benutzen oder es wurde für sie benutzt und es war eigentlich
Tim Pritlove: die Software der Post sozusagen.
Tim Pritlove: Also ist irgendetwas in diesem AI-Eck, wo ihr sagen würdet, hier greift jetzt
Tim Pritlove: diese Idee der Entscheidungsfindung und der Macht der Algorithmen,
Tim Pritlove: die diesen Fall abgedeckt hätte?
Arnika Zinke: Also ich glaube, es geht eher darum, dass die Produkte, die zukünftig auf den
Arnika Zinke: Markt gebracht werden, gewisse Standards erfüllen müssen.
Arnika Zinke: Das heißt, die Wahrscheinlichkeit, dass so ein schädliches oder ein schadhaftes
Arnika Zinke: Produkt auf den Markt gebracht wird, versucht der AI zu minimieren,
Arnika Zinke: indem er eben Data Governance, Cyber Security und so weiter vorschlägt.
Arnika Zinke: Und alles, was dann quasi später passiert, findet eben in der AI Liability Directive,
Arnika Zinke: die es noch nicht gibt, also KI-Haftungsrichtlinie statt.
Arnika Zinke: Und der Hayek versucht quasi nur sicherzustellen, dass die Produkte,
Arnika Zinke: die in Zukunft in der EU auf den Markt kommen,
Arnika Zinke: ein Minimum an Standards erfüllen, die wir quasi in unseren EU-Values als wichtig
Arnika Zinke: genug ansehen, damit KI auch trustworthy wird,
Arnika Zinke: also vertrauensbindend, also dass man quasi ein gewisses Vertrauen in die KI hat.
Tim Pritlove: Ja gut, aber hier ist es ja noch nicht mal KI. Hier ist ja Plus und Minus nicht
Tim Pritlove: richtig benutzt worden.
Arnika Zinke: Dann würde es eigentlich nicht in den Scope vom KI-Gesetz kommen.
Tim Pritlove: Das heißt, das ist sozusagen immer noch nicht sanktioniert.
Tim Pritlove: Ja, nee, verrechnen dürft ihr euch, aber ihr dürft nicht im abstrakten Raum
Tim Pritlove: falsch sein, nur im konkreten. Ist auch ein bisschen doof, oder?
Ralf Bendrath: Ja, aber dass die sich da einfach stumpf verrechnet haben, das wird ja wohl
Ralf Bendrath: irgendwelche rechtlichen Folgen haben müssen, oder?
Tim Pritlove: Ja gut, also ich meine, das geht jetzt schon seit über zehn Jahren ist es bekannt,
Tim Pritlove: dass sie sich verrechnet haben und es ist ja jetzt erst durch eine Fernsehserie
Tim Pritlove: im englischen Fernsehen und britischen Fernsehen überhaupt erst zu einem Skandal geworden,
Tim Pritlove: weil dann die Öffentlichkeit gesagt hat, was geht denn hier ab und in der Zwischenzeit,
Tim Pritlove: wie gesagt, Leute hat das halt in den finanziellen Ruin getrieben und mehrere
Tim Pritlove: der Betroffenen haben sich halt einfach das Leben genommen.
Tim Pritlove: Und das ist halt schon irgendwie so ein Level, wo ich sagen würde,
Tim Pritlove: da kann man schon mal rein regulieren, um sicherzustellen, dass so etwas nicht geht.
Tim Pritlove: Deswegen frage ich halt einfach ganz blöd, seht ihr jetzt irgendwas in diesem
Tim Pritlove: AI-Act oder in dieser Product-Liability-Richtlinie, das so etwas verhindert
Tim Pritlove: oder ist das jetzt tatsächlich noch nicht mal abgedeckt?
Ralf Bendrath: Wenn es um einfaches Plus-Minus geht, ist es nicht abgedeckt.
Ralf Bendrath: Das ist ja nicht unter KI.
Tim Pritlove: Also verrechnen darf man sich nach wie vor, nur nicht falsch schwurbeln.
Arnika Zinke: Also es gab auch im KI-Gesetz ganz stark den Push, es nur auf Machine Learning
Arnika Zinke: zu begrenzen, also KI nur als Machine Learning zu begreifen.
Arnika Zinke: Und es hat uns sehr viel Kraft gekostet, dass zumindest Teile von Automated
Arnika Zinke: Decision Making weiterhin im Skop von KI-Gesetz drin sind. Also so einfachere
Arnika Zinke: Software ist im KI-Gesetz auf jeden Fall nicht mit ihm begriffen.
Tim Pritlove: Ja gut, aber ich meine, in dem Fall war es ja so,
Tim Pritlove: dass den Vertragspartnern des Post Office quasi ein Fehler nachgewiesen wurde,
Tim Pritlove: den es so nie gegeben hat und das ist ja eigentlich auch eine Entscheidungsfindung.
Tim Pritlove: Es war nämlich die Entscheidungsfindung mit, deine Abrechnung stimmt nicht, obwohl sie stimmt.
Tim Pritlove: So und damit ist ja sozusagen von einer Software eine falsche Entscheidung gefällt
Tim Pritlove: worden, die dann auch später niemand anzuzweifeln bereit war,
Tim Pritlove: geschweige denn irgendeine Verantwortung dafür zu übernehmen.
Tim Pritlove: Und alle haben sich gegenseitig da in Schwarzenpeter zugezogen und alle, die das halt,
Tim Pritlove: es wurde ja noch dadurch verschlimmert, dass halt das Post Office auch noch
Tim Pritlove: in UK, gut ich weiß jetzt nicht EU und so, aber es geht ja jetzt nur sozusagen
Tim Pritlove: um so einen Fall, der ja durchaus realistisch ist, weil der hat ja stattgefunden,
Tim Pritlove: dass das Post Office halt auch noch so einen anderen rechtlichen Status hat und so weiter.
Tim Pritlove: Also es war also generell sehr schwierig, da überhaupt irgendwie gegenzugehen
Tim Pritlove: und es hat die Leute halt einfach mal komplett ruiniert.
Tim Pritlove: Das ist ja schon ein ziemlich harter Tobak. Also in meiner Wahrnehmung ist auch
Tim Pritlove: eine Berechnung, eine Saldos, eine automatische Entscheidungsfindung,
Tim Pritlove: weil ja da am Ende eine Wahrheit geliefert wird.
Tim Pritlove: Nämlich die Wahrheit mit, du hast uns genug Geld gegeben oder du hast uns nicht genug Geld gegeben.
Arnika Zinke: Ich verstehe dein Reasoning und es ist nicht so, dass ich dir widerspreche.
Arnika Zinke: Ich kann dir aber sagen, dass genau diese einfacheren Entscheidungsfindungen,
Arnika Zinke: genau das ist, was der Großteil der Personen, die am Verhandlungstisch saßen,
Arnika Zinke: vor allem die Kommission und der Rat, auf gar keinen Fall drin haben wollten.
Arnika Zinke: Also da ging es schon darum zu sagen, es muss etwas sein, was schon auf höheren
Arnika Zinke: Ebenen quasi arbeitet und jetzt nicht ganz einfache Rechnungen und Excel-Tabellen.
Arnika Zinke: In Excel-Tabellen war immer so ein Beispiel, was sie gebracht haben.
Tim Pritlove: Die müssen auch weiterhin falsch sein dürfen, sonst läuft gar nichts mehr.
Thomas Lohninger: Ich würde da gerne noch einen zweiten Fall reinnehmen, und zwar dieser niederländische
Thomas Lohninger: Skandal, wo die Steuerbehörden sich vertan haben, wo ja auch die Regierung von
Thomas Lohninger: Mark Rutte darüber gestolpert ist.
Thomas Lohninger: Und das als Frage zu formulieren,
Thomas Lohninger: es macht für den AI keinen Unterschied, ob jetzt ein Unternehmen hier dieses
Thomas Lohninger: Produkt auf den Markt bringt und diesen Fehler macht oder diesen Bias hat oder
Thomas Lohninger: ob es die öffentliche Hand ist, wo man ja vielleicht sagen könnte,
Thomas Lohninger: da wollen wir höhere Anforderungen haben.
Thomas Lohninger: Weil beim Unternehmen kann ich vielleicht noch irgendwie sagen,
Thomas Lohninger: okay, gut, da werde ich kein Kunde.
Thomas Lohninger: Aber wenn es jetzt irgendwelche Behörden sind, die solche algorithmischen Systeme
Thomas Lohninger: anwenden, habe ich oft keine Wahl.
Thomas Lohninger: Gibt es da höhere Auflagen für die öffentliche Hand?
Arnika Zinke: Also es gibt grundsätzlich, die Hauptlast der Anforderungen liegt auf jeden
Arnika Zinke: Fall beim Hersteller und nicht beim Anwender.
Arnika Zinke: Also das ist mal so die grundsätzliche Idee auch vom KI-Gesetz.
Arnika Zinke: Das heißt, wenn, dann würde wahrscheinlich, also gerade wenn die KI in irgendeiner
Arnika Zinke: Form fehlerhaft, also zum Beispiel eben Bias hat, dann würde das eher auf den
Arnika Zinke: Hersteller fahren als auf den Benutzer.
Arnika Zinke: Was es aber eben schon gibt und das ist eben vor allem für Behörden,
Arnika Zinke: wird es wichtig sein, ist eben diese Grundrechtefolgenabschätzung,
Arnika Zinke: die vielleicht in dem Fall, den du genannt hast, gegriffen hätte,
Arnika Zinke: weil sie sich dann schon bewusst gewesen wären.
Arnika Zinke: Das geht aber dann schon gegen Personen, die dann zum Beispiel sozial benachteiligt
Arnika Zinke: sind. Aber die Hauptklasse wäre eigentlich bei dem Hersteller.
Arnika Zinke: Und es gibt in dem Sinne ein paar zusätzliche Anforderungen für Behörden.
Arnika Zinke: Aber trotzdem muss eigentlich der Hersteller garantieren und sicherstellen,
Arnika Zinke: dass die KI in Ordnung ist.
Ralf Bendrath: Aber wenn ich das ergänzen kann, dieser holländische Sozialversicherungsfall,
Ralf Bendrath: der hat uns natürlich hier alle bewegt.
Ralf Bendrath: Und eine unserer Co-Verhandlerinnen war ja die grüne Abgeordnete aus Holland,
Ralf Bendrath: Kim van Starrentaak im Innenmarktausschuss, neben Sergej Labudinski im Innenausschuss.
Ralf Bendrath: Und da ist jetzt im Annex 3 für die Hochrisiko-KIs Punkt 5 drin,
Ralf Bendrath: extra, der war auch schon vorher von der Kommission, den haben wir nur ein bisschen
Ralf Bendrath: aufgebohrt, alles, wo eine KI eingesetzt wird zum Entscheiden,
Ralf Bendrath: ob jemand Zugang zu essentiellen privaten Diensten oder essentiellen öffentlichen
Ralf Bendrath: Diensten und Benefits, also...
Thomas Lohninger: Also staatliche Leistungen, Sozialhilfe.
Ralf Bendrath: Oder auch essentielle private Leistungen, wenn das irgendwie Versicherungsleistungen
Ralf Bendrath: sind oder sowas, keine Ahnung.
Ralf Bendrath: Dann fällt das auf jeden Fall unter Hochrisiko-KI, man muss die ganzen zusätzlichen Auflagen erfüllen.
Ralf Bendrath: Unter anderem, wenn es um Gesundheitsdienste geht, aber auch darum zu entscheiden,
Ralf Bendrath: ob jemand Anspruch auf irgendwelche Leistungen hat.
Ralf Bendrath: Ob es Renten sind, Sozialversicherungsansprüche, was auch immer.
Ralf Bendrath: Oder wenn man in dem Kontext versucht, die Kreditwürdigkeit von Leuten abzuschätzen mittels KI.
Ralf Bendrath: Das ist auf jeden Fall auch Hochrisiko und braucht dann eben die ganzen Dokumentationspflichten,
Ralf Bendrath: Bias, es muss angegangen werden in Trainingsdaten und, und, und.
Thomas Lohninger: Das heißt, um es pragmatisch zu machen, wenn ich meine Haushaltsversicherung
Thomas Lohninger: mir verwehrt wird oder das Jobcenter sagt,
Thomas Lohninger: du kriegst deine Arbeitslose jetzt nicht mehr oder die Schulung nicht mehr bezahlt,
Thomas Lohninger: dann wäre das Hochrisiko, auch wenn das vielleicht nur mit Excel passiert.
Ralf Bendrath: Nee, nur wenn es auf Basis von einer KI passiert.
Ralf Bendrath: Also wenn es schon irgendwie ein Machine Learning System dahinter hängen.
Ralf Bendrath: Was aber immer ergreift, unabhängig vom AI Act, ist dann der Artikel in der
Ralf Bendrath: DSGVO zu Profiling und automatisierter Entscheidungsfindung,
Ralf Bendrath: wo ja eh schon drin steht,
Ralf Bendrath: man darf als natürliche Person nicht sozusagen Opfer sein von einer negativen
Ralf Bendrath: Entscheidung, die ausschließlich mit automatisierten Entscheidungssystemen getroffen wurde.
Ralf Bendrath: Also da ist auch immer noch ein Mensch verantwortlich. Und ich habe immer noch
Ralf Bendrath: das Recht, mich da auch zu beschweren entsprechend nach DSGVO und so.
Tim Pritlove: Ja, ich denke, es wird dann nicht so lange dauern, bis die AI auch in Excel das Sagen hat.
Tim Pritlove: Von daher fällt es dann vielleicht irgendwann doch wieder da drunter.
Tim Pritlove: Na gut, also ein paar Lücken bestehen auf jeden Fall noch.
Arnika Zinke: Ja, wenn du gerade Lücken ansprichst, kann ich noch eine Lücke nennen,
Arnika Zinke: die wir leider im Endgesetz jetzt drinnen haben.
Arnika Zinke: Also ich habe schon vorhin erwähnt, dass quasi das ganze Gesetz das Wichtigste
Arnika Zinke: ist eigentlich, okay, jetzt neben den General Purpose AI Punkten,
Arnika Zinke: die gut sind, die Hochrisikofälle und die Hochrisiko-KI.
Arnika Zinke: Und da gibt es einen Artikel, der quasi sagt, was fällt in Hochrisiko und was
Arnika Zinke: nicht. Das ist der Artikel 6.
Arnika Zinke: Und das war eigentlich die Krux in dem Ganzen oder das Wichtigste in dem ganzen
Arnika Zinke: Gesetz, nämlich was fällt also aus dem Annex, den wir dazu haben,
Arnika Zinke: quasi die Bereiche drinstehen, tatsächlich in alle Anforderungen quasi, die im Gesetz stehen.
Arnika Zinke: Und da gibt es jetzt quasi drei Möglichkeiten, wie man sich aus dem Gesetz wieder
Arnika Zinke: rausholen kann, die relativ weit formuliert sind und möglicherweise auch noch
Arnika Zinke: in Zukunft zu Problemen führen könnten, weil sie so weit formuliert sind.
Arnika Zinke: Das heißt, man kann sich dann eigentlich wieder aus den Hochrisikoverpflichtungen
Arnika Zinke: rausholen, wenn man in diese drei Bereiche fällt.
Arnika Zinke: Die ganze Raison des Gesetzes, auf dem die Kommission auch ihre Logik aufgebaut
Arnika Zinke: hat, ist eigentlich mit diesem Artikel 6 und mit diesen Ausnahmen ein bisschen zerstört worden.
Arnika Zinke: Und das ist etwas, das für uns sehr hart hinzunehmen.
Thomas Lohninger: Was sind das für Ausnahmen?
Arnika Zinke: Ein ganz kleiner Moment. Also, wenn die KI nur narrow procedural,
Arnika Zinke: also prozedurale Anwendungen sind, die quasi so ein bisschen nebenbei laufen,
Arnika Zinke: aber nicht quasi das Hauptressort der KI sind, dann kann man sich rausnehmen,
Arnika Zinke: was jetzt genau diese narrow procedural tasks sind.
Arnika Zinke: Haben wir jetzt ein bisschen im Erwägungsgrund erklärt, könnte man aber auch
Arnika Zinke: relativ weit begreifen.
Arnika Zinke: Dann sagt es, wenn die KI nur versucht, eine bereits ausgeführte menschliche
Arnika Zinke: Aktivität zu verbessern, was ist eine bereits ausgeführte menschliche Aktivität?
Arnika Zinke: Das könnte alles sein. Ich glaube, Ralf hat gesagt oder jemand,
Arnika Zinke: es könnte eine gebaute Pyramide sein.
Arnika Zinke: Das ist ja auch eine beendete menschliche Aktivität. Also, ja,
Arnika Zinke: problematisch, wenn das KI-System nur Decision-Making-Patterns versucht zu verbessern
Arnika Zinke: und keine menschliche Entscheidung entwickelt.
Arnika Zinke: Ersetzt.
Thomas Lohninger: Aber das ist ja genauso wie das, was Ralfrat gesagt hat.
Thomas Lohninger: Bei der DSGVO haben wir auch diesen guten Artikel, die automatisierten Entscheidungen,
Thomas Lohninger: die sozusagen zustimmungspflichtig ist, wenn sie ausschließlich von einer Maschine getroffen wird.
Thomas Lohninger: Also solange da irgendwo noch ein Mensch sitzt, der die ganze Zeit nur auf OK
Thomas Lohninger: klickt zu dem, was die Maschine ihm vorgibt, kannst du dich eigentlich wieder rausreden.
Arnika Zinke: Ja, was höchst problematisch ist und was eben auch zum Beispiel dieser Human
Arnika Zinke: Oversight Artikel, also eine dieser Regeln, die die Hochrisiko-KI zu befolgen
Arnika Zinke: haben, ist eben, dass es einen Human in the Loop gibt, also einen Menschen,
Arnika Zinke: der da sitzt und eben okay drückt.
Arnika Zinke: Und wir haben quasi auch versucht, bei den Verhandlungen zu erklären,
Arnika Zinke: dass es sowas wie Automation Bias gibt, also dass man quasi davon ausgeht,
Arnika Zinke: dass wenn die KI sagt, naja, die Person ist in irgendeiner Form kriminell,
Arnika Zinke: dann wird das schon stimmen, weil die hat das ja aufgrund von irgendwelchen Parametern bemessen.
Arnika Zinke: Und das ist eben genau das Problem, dass nur weil ein Mensch da sitzt und das
Arnika Zinke: überprüft, das nicht immer mit einem großen Gedankengang einhergeht,
Arnika Zinke: weil die Personen oft gar keine Zeit haben, sich da groß zu überlegen,
Arnika Zinke: welche Parameter da jetzt in die KI angeflossen sind.
Arnika Zinke: Und das ist natürlich schon problematisch, dass es jetzt diese Möglichkeiten
Arnika Zinke: gibt, um sich quasi wieder aus dem AI rauszuholen.
Arnika Zinke: Das gilt aber nur für KI-Systeme und nicht für die Modelle. Also für die Modelle
Arnika Zinke: gibt es diesen Filter, in Artikel 6 für die gilt er nicht.
Ralf Bendrath: Was wir in der Parlamentsposition, wenn ich mich richtig erinnere,
Ralf Bendrath: dritte hatten, war ein ausdrückliches Verbot dafür, dass eine KI quasi Urteile
Ralf Bendrath: schreiben darf, die der Richter am Ende nur noch unterzeichnet.
Ralf Bendrath: Das ist aber leider im Trilog wieder rausgeflogen.
Thomas Lohninger: Da würde ich gerne wissen, welcher Mitgliedstaat sich dafür eingesetzt hat,
Thomas Lohninger: dass das künftig gehen kann.
Ralf Bendrath: Keine Ahnung.
Thomas Lohninger: Ja, wir haben da zu viel...
Ralf Bendrath: Wir haben mit den Spaniern verhandelt vor allem. Aber wer dann dahinter steckt,
Ralf Bendrath: ist uns immer so ein bisschen unklar, wenn man da nicht die Kontakte hat.
Ralf Bendrath: Und natürlich eine Sache vielleicht noch zum Schluss.
Ralf Bendrath: Das riesengroße Ding, das bis zum Schluss umstritten war und uns da irgendwie
Ralf Bendrath: zwei Nächte noch gekostet hat, war halt die Frage mit Gesichtserkennung im öffentlichen Raum.
Thomas Lohninger: Ja, ich wusste, dass das jetzt so kommt. Ich hätte dich sonst gleich danach
Thomas Lohninger: gefragt. Wie ist das denn gelöst?
Thomas Lohninger: Hier war die große Forderung der Zivilgesellschaft, Gesichtserkennung im öffentlichen
Thomas Lohninger: Raum wirklich gänzlich als Hochrisikotechnik zu verbieten und daran anschließend
Thomas Lohninger: natürlich auch alle anderen Formen biometrischer Erkennung am Gang,
Thomas Lohninger: einfach alles, wo uns Bewegungsfreiheit im öffentlichen Raum weggenommen wird
Thomas Lohninger: und Datenschutz eingeschränkt.
Thomas Lohninger: Das war auch mit einer europäischen Bürgerinitiative nochmal bestärkt,
Thomas Lohninger: diese Forderung, Reclaim Your Face, hieß die Kampagne.
Thomas Lohninger: Und das hat es ja, glaube ich, auch in die Parlamentsposition geschafft.
Thomas Lohninger: Nehmt uns nicht die Hoffnung. Was ist daraus geworden?
Ralf Bendrath: Das übernehme ich mal, ja. Das ist eher mein Blutfallbereich.
Ralf Bendrath: Ja, es steht jetzt in Artikel 5, Paragraph 1.h.
Ralf Bendrath: Also Paragraph 1 ist, die folgenden KI-Praktiken sind verboten.
Ralf Bendrath: Paragraph h, die Nutzung von Echtzeit-biometrischen Identifikationssystemen
Ralf Bendrath: auf Entfernung in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung.
Ralf Bendrath: Ist verboten, steht so drin, aber leider ist der Satz dann noch nicht zu Ende.
Ralf Bendrath: Der geht nämlich dann weiter, außer und insoweit, als solche Benutzung strikt
Ralf Bendrath: notwendig ist für eines der folgenden Zwecke.
Ralf Bendrath: Und dann kommen sozusagen die Ausnahmen, wo es dann doch erlaubt ist,
Ralf Bendrath: die gezielte Suche nach spezifischen Opfern von Entführung oder Human Trafficking oder so.
Ralf Bendrath: Zweitens die Verhinderung einer spezifischen,
Ralf Bendrath: substanziellen und unmittelbar bevorstehenden Bedrohung für das Leben oder die
Ralf Bendrath: physische Sicherheit von natürlichen Personen oder einer genuinen und gegenwärtigen
Ralf Bendrath: oder vorhersehbaren Bedrohung einer terroristischen Attacke.
Ralf Bendrath: Und drittens die Identifizierung und Lokalisierung von einer Person,
Ralf Bendrath: die verdächtig ist, eine Straftat begangen zu haben, die mit einer Höchststrafe
Ralf Bendrath: von mindestens vier Jahren Gefängnis bestraft werden kann.
Ralf Bendrath: Also für die Zwecke wäre es noch erlaubt. Also die Idee war sozusagen dahinter
Ralf Bendrath: dann am allerletzten Kompromiss, Donnerstag, Freitagnacht oder wann,
Ralf Bendrath: kurz vor Weihnachten, dass wenn irgendwo jemand eine Tankstelle ausgeraubt hat
Ralf Bendrath: und davonrennt oder davonfährt auf dem Motorrad oder so und vielleicht keinen
Ralf Bendrath: Helm auf hat, dass man dann schnell in Echtzeit die Kameras,
Ralf Bendrath: die es da in der Gegend gibt,
Ralf Bendrath: wenn die sozusagen verbunden sind und Gesichtserkennung überhaupt können und
Ralf Bendrath: sowas, einschaltet und sagt, hier, den finden wir mal diesen einen Räuber hier.
Ralf Bendrath: Damit wir, solange der noch in der Nachbarschaft ist, irgendwie grob eine Chance
Ralf Bendrath: haben, dass der irgendwie noch gefasst wird.
Ralf Bendrath: Das war sozusagen die Idee. Da kann man dann sagen, ja, ist total offen und
Ralf Bendrath: weit. Das hat aber bestimmte weitere Voraussetzungen noch.
Ralf Bendrath: Das soll autorisiert werden von einer Justizbehörde oder einer anderen Behörde,
Ralf Bendrath: die binnen der Entscheidungen treffen können, also de facto Staatsanwaltschaft
Ralf Bendrath: dann wird das sein in der Praxis.
Thomas Lohninger: Ein Richter?
Ralf Bendrath: Ja, eben, Justiz oder Staatsanwaltschaft. Dann muss diese Behörde,
Ralf Bendrath: die es anwenden will, vorher eine Grundrechtefolgenabschätzung gemacht haben mit dem System.
Ralf Bendrath: Zumindest in der Regel, es gibt Ausnahmen. Dann muss es strikt limitiert sein in Bezug auf die Zeit,
Ralf Bendrath: in der das gemacht werden darf,
Ralf Bendrath: also die Dauer und den geografischen und persönlichen Anwendungsbereich.
Ralf Bendrath: Du kannst ja nur die Nachbarschaft überwachen, aber nicht ganz Berlin oder so oder ganz Brüssel.
Ralf Bendrath: Und jede Nutzung soll den zuständigen
Ralf Bendrath: Marktaufsichtsbehörden und Datenschutzbehörden notifiziert werden.
Ralf Bendrath: Und das Ganze ist aber sozusagen nur die Leitplanke. So weit darfst du maximal gehen.
Ralf Bendrath: Das ist noch keine Rechtsgrundlage dafür. Es steht dann in § 5,
Ralf Bendrath: um das machen zu können, müssen die Mitgliedstaaten selber noch eine Rechtsgrundlage
Ralf Bendrath: in ihrem nationalen Recht schaffen.
Ralf Bendrath: Also wir haben als KI-Gesetzgeber hier jetzt nichts erlaubt.
Ralf Bendrath: Wir haben nur gesagt, wenn ihr das macht, müsst ihr diese Leitplanken einhalten.
Ralf Bendrath: Und es steht ausdrücklich drin, die Mitgliedstaaten können auch restriktivere
Ralf Bendrath: Gesetze verabschieden zu dem Thema.
Tim Pritlove: Da ist aber jetzt ein Wort drin, nämlich das Wort Echtzeit.
Tim Pritlove: Wenn ich das jetzt richtig verstanden habe, schließt diese ganze Regelung nur
Tim Pritlove: die Echtzeitverwendung aus, aber nicht die Vorratsdatenspeicherung sozusagen.
Ralf Bendrath: Die Vorratsdatenspeicherung von Kamerabildern ist nochmal ein ganz anderes Thema.
Ralf Bendrath: Das ist nicht vom KI-Gesetz geregelt. Also wie lange so eine Kamera Bilder aufbewahren
Ralf Bendrath: darf, das ist außerhalb des Geltungsbereichs vom AI-Act.
Tim Pritlove: Ja, beziehungsweise wenn man halt jetzt sozusagen Gesichtserkennung macht auf
Tim Pritlove: den Daten, aber halt nicht in Echtzeit.
Thomas Lohninger: Du speicherst die fünf Minuten ab und danach machst du die Gesichtserkennung drüber.
Tim Pritlove: Zum Beispiel, oder auch ein paar Tage so.
Thomas Lohninger: Oder es ist halt irgendwie, du hast es vorher gesagt, nur für den strafrechtlichen
Thomas Lohninger: Bereich. Die Privaten sind davon jetzt nicht umfasst.
Ralf Bendrath: Die Privaten sind nicht erfasst und auch sowas wie Grenzkontrollübergänge sind nicht erfasst.
Ralf Bendrath: Das ist von der Datenschutzgrundverordnung geregelt. Da gibt es zum Beispiel
Ralf Bendrath: auch schon Entscheidungen der Datenschutzbehörden, wenn irgendwelche Fußballstadien
Ralf Bendrath: ein Verbot hatten von Hooligans, dann haben sie teilweise Gesichtserkennung
Ralf Bendrath: eingesetzt, um die einzelnen Hooligans, die ein Stadionverbot hatten, zu finden.
Ralf Bendrath: Da gibt es Entscheidungen der Datenschutzbehörden, sozusagen außerhalb dieser
Ralf Bendrath: Regelung hier. Was es aber auch noch gibt, ist eine Regelung zu retrograder
Ralf Bendrath: biometrischer Gesichtserkennung, also Post-RBI, eben nicht in Echtzeit.
Ralf Bendrath: Und da ist eben die Idee, dass das nicht mehr verboten ist, sondern nur noch
Ralf Bendrath: Hochrisiko, was für uns ein super, super dicke Kröte war, das zu schlucken.
Ralf Bendrath: Könnt ihr euch vorstellen.
Ralf Bendrath: Wir wollten komplett verabredet von allem. Wir haben jetzt schon in Echtzeit
Ralf Bendrath: da irgendwie ein paar Ausnahmen drin reingekriegt, die aber,
Ralf Bendrath: wie gesagt, für spezifische Verdächtige und so nur greifen.
Ralf Bendrath: Und für retrograde KI-Echtzeit, nein, für retrograde Gesichtserkennung im öffentlichen
Ralf Bendrath: Raum, da brauchst du erstmal die Aufnahmen, sonst kannst du es nicht machen.
Ralf Bendrath: Und da gibt es dann eben unter Datenschutzrecht schon Regeln,
Ralf Bendrath: wie lange dürfen Videokameras die Daten speichern und so und nach wie vielen
Ralf Bendrath: Stunden müssen sie gelöscht werden oder überschrieben werden.
Ralf Bendrath: Und wenn du diese Daten noch hast, wenn die mal gespeichert sind und auch legal
Ralf Bendrath: noch gespeichert waren, dann kannst du die jetzt für ähnliche Fälle benutzen,
Ralf Bendrath: nämlich für eine gezielte Suche nach einer Person,
Ralf Bendrath: die auch wieder einer Straftat verdächtig ist, in dem Fall nicht mal eine schwere
Ralf Bendrath: Straftat, sondern generelle Straftaten, wiederum mit Autorisierung eines Gerichts
Ralf Bendrath: oder einer Staatsanwaltschaft.
Ralf Bendrath: Limitiert auf das, was strikt notwendig ist für die Ermittlung in einem spezifischen
Ralf Bendrath: Strafverfahren, also kannst du die einfach allgemein erstmal alle so abscannen, ohne Anlass,
Ralf Bendrath: In keinem Fall soll so ein Hochrisiko-KI-System genutzt werden für Strafverfolgungszwecke
Ralf Bendrath: in einer ungezielten Art,
Ralf Bendrath: untargeted way, ohne Link zu einer spezifischen Straftat oder einem Strafverfahren
Ralf Bendrath: oder eben einer spezifischen drohenden Gefahr oder so.
Ralf Bendrath: Und solche Nutzungen müssen dann zumindest in der relevanten Polizeiakte dokumentiert
Ralf Bendrath: werden und auch den Marktaufsichtsbehörden und Datenschutzbehörden verfügbar
Ralf Bendrath: gemacht werden auf Nachfrage.
Ralf Bendrath: Und wir sind uns, glaube ich, alle echt einig, dass das nicht gut ist.
Ralf Bendrath: Das ist irgendwie viel, viel offener und viel weiter, als wir es uns gewünscht hätten.
Ralf Bendrath: Das war am Ende sozusagen der Kompromiss, der auch noch total verfahrensmäßig
Ralf Bendrath: richtig übel gelaufen ist. Wir hatten am letzten Abend des Trilogs, das war das 12., 10.
Ralf Bendrath: Dezember oder so, hatten wir noch keinen finalen Text zu dieser retrograden Gesichtserkennung.
Ralf Bendrath: Wir hatten aber vorher einen Text von einer spanischen Ratspräsidentschaft bekommen,
Ralf Bendrath: der irgendwie in die richtige Richtung ging. ging.
Ralf Bendrath: Da war noch eine limitierte Liste mit Straftaten, wo das genutzt werden kann und so weiter.
Ralf Bendrath: Aber irgendwie ist es dann nicht mehr dazu gekommen, noch einen finalen Text
Ralf Bendrath: auszufaden in der Nacht.
Ralf Bendrath: Und dann sind alle nach Hause und ins Wochenende und am Montag oder Dienstag
Ralf Bendrath: haben wir noch mal wieder ein paar Aufräumtermine gehabt auf technischer Ebene,
Ralf Bendrath: also Mitarbeiterebene.
Ralf Bendrath: Und dann kriegen wir plötzlich von den Spaniern da einen Text präsentiert,
Ralf Bendrath: der einfach komplett anders war als das, was wir gedacht hatten, wie die Einigung ist.
Ralf Bendrath: Und dann ging es wirklich noch zwei Wochen hin und her.
Ralf Bendrath: Die letzte Woche war dann irgendwie die die Sitzungsfeierwoche vor Weihnachten,
Ralf Bendrath: wo alle schon im Urlaub waren.
Ralf Bendrath: Ich saß da irgendwie an der Nordsee im Ferienhaus und habe mir noch E-Mails hin und her geschickt.
Ralf Bendrath: Und dann ist am Ende das hier rausgekommen, wo dann auch irgendwie jetzt sozusagen
Ralf Bendrath: keiner mehr das Fass nochmal komplett aufmachen wollte.
Ralf Bendrath: Der Trilog war sozusagen schon fertig und dann wurde diese Kröte geschluckt.
Ralf Bendrath: Muss man nicht gut finden, überhaupt nicht. Und die Bundesregierung hat,
Ralf Bendrath: glaube ich, schon entschieden, dass sie es auf jeden Fall enger ziehen will,
Ralf Bendrath: wenn es überhaupt in Deutschland irgendwie Gesetzesgrundlage dafür geben wird.
Ralf Bendrath: Und wir werden natürlich weiter dafür kämpfen, wenn das Ding mal wieder renoviert
Ralf Bendrath: wird oder andere Gesetzesvorschläge kommen, die das irgendwie berühren könnten,
Ralf Bendrath: dass das auf jeden Fall enger gezogen wird, ganz klar.
Ralf Bendrath: Aber an dem Punkt jetzt den ganzen AI-Act scheitern zu lassen,
Ralf Bendrath: war es uns auch nicht wert genug, weil da einfach so viele Sachen drin sind,
Ralf Bendrath: die einfach jetzt mal gut sind, dass sie an den Start kommen.
Thomas Lohninger: Es war ja kurzzeitig so, dass es die Mehrheit im Rat in der Schwebe stand und
Thomas Lohninger: wir beide haben uns ja genau zu der Zeit getroffen und du meintest,
Thomas Lohninger: ob ich da irgendwie bei der österreichischen Justizministerin fragen würde.
Thomas Lohninger: Ich bin mir bis heute nicht sicher, ob das Gesetzeswert wäre, gerettet zu werden.
Thomas Lohninger: Aber um vielleicht auch da zum Abschluss zu kommen, würde mich von euch beiden
Thomas Lohninger: noch interessieren, was mit diesem Gesetz denn jetzt wirklich so die prägnante
Thomas Lohninger: Sache, der prägnante Missstand sein soll,
Thomas Lohninger: den wir damit wirklich hoffentlich verbessern.
Thomas Lohninger: Bei der DSGVO, was ja damals Facebook, da war die große Erwartungshaltung,
Thomas Lohninger: dass wir damit endlich Facebook dazu bringen, mit personenbezogenen Daten besser umzugehen.
Thomas Lohninger: Ich glaube, es ist sehr überschaubar, was wir damit wirklich geschafft haben,
Thomas Lohninger: trotz aller guten Absichtsbekundungen damals. Wie ist es beim AI-Act?
Thomas Lohninger: Also ist da jetzt Palantir zum Beispiel, müsste es da eigentlich Änderungen
Thomas Lohninger: in der Realität geben mit diesem Gesetz, wo ihr sagt, da sollte wirklich sich
Thomas Lohninger: etwas in der Praxis ändern oder auch die Schufa zum Beispiel.
Thomas Lohninger: Also Kreditauskunft Hain ist da aus eurer Sicht, um es nochmal zu Ende ganz praktisch zu machen.
Thomas Lohninger: Was erwartet ihr euch jetzt von dem AI-Act, an dem ihr so lange gearbeitet habt?
Arnika Zinke: Ich fange mal an. Also ich glaube, dass so ein bisschen das,
Arnika Zinke: was quasi immer unter diesem Begriff vertrauenswürdige KI,
Arnika Zinke: made in Europe, quasi gedacht wird, dem quasi ein bisschen ein Gesetz dahinter
Arnika Zinke: gelegt wird, was das eigentlich bedeutet.
Arnika Zinke: Das heißt, welche konkreten Anforderungen haben wir an die zukünftigen KI-Systeme,
Arnika Zinke: die in Europa auf den Markt gebracht werden?
Arnika Zinke: Was sind sozusagen die Mindestanforderungen, die das erfüllen muss?
Arnika Zinke: Und das Gleiche für die Modelle. Also es ist quasi eine Mindestanforderung,
Arnika Zinke: ein bisschen eine Ausdeklinierung dessen, was wir quasi unter schönen Worten
Arnika Zinke: die ganze Zeit erzählen, wie wir das gerne hätten.
Arnika Zinke: Und ein paar Systeme sind eben komplett verboten, aber es sind eben viel weniger,
Arnika Zinke: als wir eigentlich für notwendig gehalten hätten.
Arnika Zinke: Also es ist nicht der große Wurf,
Arnika Zinke: den sich manche erhofft hatten, aber ich glaube, wenn man sich das Gesetz anschaut
Arnika Zinke: und auch wie das Gesetz gemacht ist,
Arnika Zinke: dann konnte dieses Gesetz auch nie diese Erwartungshaltung erfüllen,
Arnika Zinke: auch weil KI und automated decision making so viele Bereiche umfasst.
Arnika Zinke: Das geht eben von biometrischer Massenüberwachung bis KI-Systeme,
Arnika Zinke: die kreativ verwendet werden oder die sagen, zu welcher Schule du gehen sollst.
Arnika Zinke: Und den Bereich so groß zu spannen, heißt halt auch, man kann nicht ganz oben
Arnika Zinke: anfangen, sondern es ist quasi ein Minimalkonsens darüber, wie KI-Systeme in
Arnika Zinke: Zukunft gemacht werden sollen.
Arnika Zinke: Aber gerade auch darauf basierend, welche KI-Systeme jetzt schon am Markt sind,
Arnika Zinke: ist es extrem schwierig zu sagen, weil auch da die Anforderungen ja auch viel
Arnika Zinke: später erst in Kraft treten werden.
Ralf Bendrath: Aber ganz konkret, wegen Palantir, wenn Palantir genutzt wird,
Ralf Bendrath: um über individuelle Personen Vorhersagen zu machen, ob sie irgendwann mal eine
Ralf Bendrath: Straftat begehen, dann muss das jetzt weg.
Ralf Bendrath: Das ist nicht mehr erlaubt in Zukunft, so ganz konkret. Und es soll eben auch,
Ralf Bendrath: wie gesagt, sowas wie diesen niederländischen Sozial-Social-Benefits-Skandal
Ralf Bendrath: da irgendwie in Zukunft vermeiden, helfen.
Ralf Bendrath: Eine Sache, die wir noch gar nicht erwähnt hatten, wo wir aber auch ziemlich
Ralf Bendrath: drauf stolz sind, ist, dass jetzt in Zukunft viele KI-Systeme,
Ralf Bendrath: vor allem die Allzwecksysteme, auch Energiebilanzen offenlegen müssen.
Ralf Bendrath: Das Zeug verbraucht ja unglaublich viel Strom und auch Wasser.
Ralf Bendrath: Das muss jetzt offengelegt werden, mindestens für die General-Purpose-KIs. Da bin ich mal gespannt.
Ralf Bendrath: Also Ökobilanzen und so haben wir jetzt auch drin. Auch einer unserer Erfolge.
Tim Pritlove: Das ist eine gute Regelung. Da bin ich auch gespannt, wie das ausgeht.
Tim Pritlove: Ob man das überhaupt so berechnet bekommt. Wahrscheinlich schon irgendwie.
Ralf Bendrath: Das kannst du einfach berechnen. Du hast irgendwie so viele Millionen Videokarten
Ralf Bendrath: und guckst halt, was die dann Strom verbrauchen. Das ist nicht so schwer.
Tim Pritlove: Ja, ist klar. Gut, ich denke, den AI-Act-Teil können wir damit beschließen, oder?
Thomas Lohninger: Ich glaube auch, wenn es von eurer Seite nichts mehr gibt, dann,
Thomas Lohninger: wir sind schon relativ lange, deswegen machen wir das jetzt vielleicht sehr kurz.
Thomas Lohninger: Ich wollte nur nochmal so einen Ausblick auf die EU generell.
Thomas Lohninger: Ihr sitzt ja auch weiter in Brüssel und seid da sehr nah dran und wir haben jetzt ein paar.
Ralf Bendrath: Wir sind mittendrin.
Thomas Lohninger: Genau, statt nur dabei und habe da ja auch wirklich auch, es heißt ja irgendwie
Thomas Lohninger: so schön, dass das Herstellen von Würsten, von Sausages und das Gesetze machen,
Thomas Lohninger: da will man nicht so genau wissen, wie es wirklich passiert und gleichzeitig
Thomas Lohninger: ist die EU auch gerade am Ende ihrer Legislaturperiode, im Juni sind Wahlen.
Thomas Lohninger: Man hat auch, glaube ich, gesehen, dass ganz viele netzpolitische Themen dann
Thomas Lohninger: am Ende an den Mehrheitsverhältnissen im Parlament und natürlich auch in den
Thomas Lohninger: nationalen Regierungen hängen.
Thomas Lohninger: Und ja, nach allen Vorhersagen wird es einen Rechtsrott geben im Europaparlament.
Thomas Lohninger: Das heißt, es wird eine Mehrheit geben aus den Fraktionen ID,
Thomas Lohninger: was AfD, FPÖ ist, ECR, also die europaskeptischen Konservativen bis Rechtsextreme in manchen Fällen.
Thomas Lohninger: Und halt auch der Europäischen Volkspartei.
Thomas Lohninger: Und das wird natürlich, glaube ich, dann auch so diese Schlagzahl der Gesetze,
Thomas Lohninger: vor allem wenn es darum geht, Harmonisierungen durchzuführen.
Thomas Lohninger: Wahrscheinlich reduzieren.
Thomas Lohninger: Was manchmal vielleicht sogar ganz gut wäre, wenn man sich mehr Zeit nimmt für
Thomas Lohninger: die Gesetze, schaut, dass man wirklich eine breite Mehrheit hat.
Thomas Lohninger: Insgesamt ist mein Eindruck, auch wenn ich euch heute so zugehört habe,
Thomas Lohninger: dass ganz viel am Zeitdruck liegt.
Thomas Lohninger: Dass etwas unbedingt bis dahin fertig werden muss und dann sind halt irgendwie
Thomas Lohninger: drei Viertel der Leute schon auf Urlaub und Ralf muss irgendwie aus dem Ferienhaus
Thomas Lohninger: heraus dann das fertig verhandeln.
Thomas Lohninger: Das kann es ja nicht sein. Also ich meine, wenn sich Europa ernst nimmt,
Thomas Lohninger: dann muss man den Gesetzestext vor sich haben ausverhandelt und dann entscheiden,
Thomas Lohninger: ob der eine Mehrheit hat.
Thomas Lohninger: Also ganz oft tut einem das ja schon beim Zuhören und Zuschauen weh,
Thomas Lohninger: wie dann wirklich diese Entscheidungen, wie stümperhaft diese Entscheidungen zustande kommen.
Thomas Lohninger: Aber ja, wie geht es euch damit und wie schaut ihr jetzt so auf die Zeit nach der Wahl?
Ralf Bendrath: Vielleicht zu der ersten Frage, wie laufen sozusagen diese Trilogverhandlungen?
Ralf Bendrath: Ist das wirklich immer so schlimm?
Ralf Bendrath: Als wir die Datenschutz-Grundverordnung damals verhandelt haben,
Ralf Bendrath: haben wir wirklich den Text vor uns gehabt. Der wurde auf meinem Laptop mitprotokolliert,
Ralf Bendrath: je nach Verhandlungsstand.
Ralf Bendrath: Und am Ende des letzten Triloges, das war auch so nachts um elf,
Ralf Bendrath: aber immer noch eine halbwegs menschenwürdige Zeit, hatten wir einen fertigen Text.
Ralf Bendrath: Text, der muss dann ein paar Mal noch horizontal angepasst werden,
Ralf Bendrath: das haben wir dann noch kurz danach noch gemacht in meinem Büro und der konnte
Ralf Bendrath: dann direkt an die Mitgliedstaaten rausgehen und auch an alle Abgeordneten, die beteiligt waren.
Ralf Bendrath: Das habe ich jetzt ein paar Mal erlebt, dass das nicht so gelaufen ist.
Ralf Bendrath: Mal gucken, wie es morgen Nacht wird bei den Gesundheitsdaten,
Ralf Bendrath: ob wir da einen finalen Text haben, da ist es zumindest ein bisschen besser,
Ralf Bendrath: dass jetzt schon mal Textentwürfe vorher flottieren.
Ralf Bendrath: Beim AI-Hack war es einfach wirklich chaotisch, wir hatten beim letzten Trilog,
Ralf Bendrath: als der anfing, noch 22 Punkte offen, haben dann wirklich von Nachmittags um
Ralf Bendrath: drei die ganze Nacht durch bis zum nächsten Mittag um eins verhandelt,
Ralf Bendrath: dann eine Pause gemacht,
Ralf Bendrath: einmal schlafen können die Nacht dann und am Freitag um acht Uhr morgens ging
Ralf Bendrath: es schon wieder weiter bis nach Mitternacht.
Ralf Bendrath: Und da gab es dann einfach teilweise keine Texte. Ich habe von anderen Trilogen
Ralf Bendrath: gehört, wo es teilweise nur so Bullet-Point-Listen gab, auf was man sich jetzt
Ralf Bendrath: geeinigt hat, wo dann die technische Ebene hinterher noch einen Monat beschäftigt
Ralf Bendrath: war, das auszuformulieren.
Ralf Bendrath: Da hat, glaube ich, die Qualität echt ein bisschen gelitten in letzter Zeit, ist so mein Eindruck.
Ralf Bendrath: Da gibt es aber jetzt auch schon eine Reaktion drauf und zumindest vom Parlament
Ralf Bendrath: aus gibt es jetzt offenbar Bestrebungen, ein interinstitutionelles Abkommen
Ralf Bendrath: zu verhandeln mit dem Rat und der Kommission, wie genau so Triloge eigentlich geführt werden müssen.
Ralf Bendrath: Weil das oft immer noch sehr informell ist, die sind ja auch in den Verträgen irgendwo vorgesehen.
Ralf Bendrath: Ich bin trotzdem der Meinung, man braucht so einen geschützten Raum,
Ralf Bendrath: wenn man sich auf irgendwelche Texte einigen will. Da muss man halt die Köpfe
Ralf Bendrath: zusammenstecken mit Ausschluss der Öffentlichkeit.
Ralf Bendrath: Aber das braucht zumindest ein paar Regeln. Und da soll jetzt hoffentlich nach
Ralf Bendrath: der Wahl mit den anderen Institutionen daran gearbeitet werden.
Thomas Lohninger: Annika, wie siehst du das?
Arnika Zinke: Ich glaube, das Problem war auch jetzt beim KI-Gesetz die einfache Unmenge an
Arnika Zinke: Gesetzen, die jetzt noch verabschiedet werden sollten vor Ende der Legislaturperiode.
Arnika Zinke: Und die Angst, die halt irgendwo immer auch mitgeschwungen ist,
Arnika Zinke: ist, was, wenn wir dieses Gesetz eben nicht, dieses Mandat fertig kriegen.
Arnika Zinke: Was bedeutet das dann mit einem deutlich rechteren Parlament?
Arnika Zinke: Kriegen wir da noch die Punkte, die uns wirklich wichtig sind, durch?
Arnika Zinke: Und vor allem auch im Hinblick darauf, dass eben Ungarn auch die nächste Ratspräsidentschaft
Arnika Zinke: nach Belgien jetzt hat und damit dann viele von den Prioritäten,
Arnika Zinke: die wir hatten, was Menschenrechte betrifft, sehr unwahrscheinlich gewesen wären.
Arnika Zinke: Das heißt, es hätte sich noch weiter verzögert und dann wären wir im Jahr 2025
Arnika Zinke: gewesen, wo wir dann wieder angefangen hätten, an KI-Gesetzen zu arbeiten und
Arnika Zinke: dann sind wir halt auch keine Vorreiter mehr.
Arnika Zinke: Also dann hätten wir eigentlich vielleicht sogar das Gesetz nochmal komplett
Arnika Zinke: neu machen müssen. Also das ist halt immer mit geschwungen, aber ich gebe grundsätzlich
Arnika Zinke: recht, dass die Tatsache, dass wir keinen finalen Text hatten,
Arnika Zinke: das war einfach unglaublich. Und wir haben auch wirklich drum gebettelt.
Arnika Zinke: Und das war einfach dann auch vielleicht der Zeit geschuldet,
Arnika Zinke: die wir da gesessen sind, ist dann einfach ausgerufen worden,
Arnika Zinke: dass es einen Deal gibt und dann haben sich halt auch Politiker mitreißen lassen.
Arnika Zinke: Diesen Deal einfach dann festzusetzen.
Arnika Zinke: Und ja, ich finde das auch super problematisch und ich hoffe auch,
Arnika Zinke: dass es in Zukunft besser läuft.
Arnika Zinke: Ich weiß auch, dass wir uns in dem Ausschuss, der sich eben mit den ganzen Prozessen
Arnika Zinke: beschäftigt und den Rules of Procedure dafür einsetzen, dass es eben auch bessere
Arnika Zinke: Regeln in den Trilogen gibt, dass es auch etwas mehr Transparenz gibt.
Arnika Zinke: Also es muss nicht unbedingt einen Livestream geben, aber dass gewisse Dokumente
Arnika Zinke: auch etwas transparenter sind.
Arnika Zinke: Und das hoffe ich mir für die Zukunft auch eben auch, um das Vertrauen in die
Arnika Zinke: EU-Institutionen auch zu verbessern.
Arnika Zinke: Absolut.
Thomas Lohninger: Ich glaube, der Zugang zu Texten, ich meine, ich habe die ja dann oft über Kanäle,
Thomas Lohninger: aber dass das nicht öffentlich ist, ist wirklich ein Unding.
Thomas Lohninger: Was in Parlamenten diskutiert wird, sollte öffentlich sein.
Thomas Lohninger: Und ein Vorschlag für diese Regeln, die ihr euch geben wollt,
Thomas Lohninger: es würde schon sehr viel helfen, wenn Europaabgeordnete sich nicht bereit erklären,
Thomas Lohninger: auf irgendwelchen Fotos mit der Kommission und der Ratspräsidentschaft zu sein,
Thomas Lohninger: bis der Text wirklich ausverhandelt ist.
Thomas Lohninger: Weil oft ist es so irgendwie das getwitterte Foto und jetzt sind wir fertig
Thomas Lohninger: und dann stehen alle auf und glauben, dass sie wirklich fertig sind,
Thomas Lohninger: auch wenn danach noch ganz viel wegverhandelt wird.
Thomas Lohninger: Das haben wir leider ein paar Mal gesehen und das ist nur ein billiger Trick.
Thomas Lohninger: Ich hoffe, das war heute trotzdem eine Sendung, die nicht nur traurig zurücklässt,
Thomas Lohninger: sondern ein bisschen aufgezeigt hat.
Ralf Bendrath: Cyber, Cyber, alles gut.
Tim Pritlove: Aber jetzt will ich noch wissen, hilft euch denn AI sozusagen auch bei der Analyse
Tim Pritlove: dieser ganzen Textvorschläge?
Tim Pritlove: Ich meine, ihr seid ja auch die ganze Zeit so in diesem Business mit,
Tim Pritlove: ihr kriegt so viel Text zugeschickt und permanent müsst ihr irgendwie verstehen,
Tim Pritlove: was da jetzt eigentlich mit gemeint ist.
Tim Pritlove: Kommt da sozusagen auch schon die LLM zum Einsatz oder macht ihr das alles noch von Hand?
Thomas Lohninger: Welcher Teil von May I Act wurde von ChatGPT geschrieben?
Arnika Zinke: Also ich kann sagen, das einzige Mal, wo ich in meinem Leben Chachapiti verwendet
Arnika Zinke: habe, um mit meinem Freund zu brainstormen, welche Hundenamen wir uns überlegen möchten.
Arnika Zinke: Ich schwöre. Also wir haben alle Texte selber gelesen und selber analysiert
Arnika Zinke: und es waren sehr, sehr viele Texte.
Arnika Zinke: Aber die Versuchung ist natürlich groß, aber es spielt eigentlich nicht wirklich
Arnika Zinke: eine Rolle, weil gerade diese Texte so spezifisch sind und so technisch und so kontextbasiert,
Arnika Zinke: dass es schwierig wäre und ich finde auch ethisch problematisch,
Arnika Zinke: das durch irgendeine KI zu jagen.
Tim Pritlove: Ja, okay.
Tim Pritlove: Man kann es ja auch...
Tim Pritlove: Ganz praktisch sehen, einfach als Tool, also ich gebe zu,
Tim Pritlove: dass jetzt zum Beispiel auch gemacht zu haben, ich nehme mir so einen kompletten Text,
Tim Pritlove: den ich jetzt, wenn ich den lesen würde, ohnehin nicht verstehen würde,
Tim Pritlove: weil mir einfach das juristische Modell dafür fehlt und die Dingertaugung sicherlich
Tim Pritlove: für vieles nicht, aber dieses Text zusammenfassen, das kriegen die schon irgendwie ganz gut hin.
Tim Pritlove: Und dann kann man halt zumindest schon mal reinstochern und sagen so,
Tim Pritlove: wird da etwas erwähnt zu dem und dem und so weiter und das ja,
Tim Pritlove: das sind schon mal ganz hilfreiche Ansätze für mich, aber dass ihr das professioneller
Tim Pritlove: handhabt, daran habe ich keinen Zweifel.
Ralf Bendrath: Word und solche Software kann ja Auto-Summarize schon länger,
Ralf Bendrath: da brauchst du keinen Chatbot für.
Ralf Bendrath: Aber unser Job ist halt leider nicht nur die Zusammenfassung zu machen,
Ralf Bendrath: sondern das Ding im Detail zu lesen und zu verstehen und umzuschreiben,
Ralf Bendrath: da kommt einfach kein Weg dran vorbei.
Tim Pritlove: Na klar. Na gut, dafür seid ihr ja auch hier die Profis.
Tim Pritlove: Vielen, vielen Dank für eure Ausführungen und natürlich auch für eure Arbeit an den Gesetzeswerken.
Tim Pritlove: Das ist ja mit wenig Urlaub gesegnet, wie wir gerade gehört haben.
Tim Pritlove: Und ja, das ist ja eine Entbehrung. Dann kriegst du vielleicht den nächsten
Tim Pritlove: neuen Eintrag, Annika, auch bei der IMDB, wenn du dann wieder in Hollywood-Fußstapfen steigst.
Arnika Zinke: Ja, danke euch für die Einladung.
Thomas Lohninger: Danke auch von meiner Seite und bitte weitermachen und bis zum nächsten Mal.
Tim Pritlove: Danke. Alles klar, das war's heute vom Logbuch Netzpolitik.
Tim Pritlove: Bald geht's wieder weiter, dann vielleicht auch wieder mit Linus.
Tim Pritlove: Wir sagen tschüss und bis bald.