LNP486 Das fünfte Element

Guten Morgen Thomas.

Guten Morgen Tim.

Sag mal, wie ist eigentlich das Wetter in Brüssel?

Das muss noch abgestimmt werden. Wir haben noch kein Tredo-Gergebnis.

Logbuch Netzpolitik Nummer 486 vom 13. März 2024. 2024. Und ja, den Linus, den habe ich mal kurz weggeschickt, damit wir hier uns mal um die seriösen Themen kümmern können. Und begrüßen natürlich erstmal Thomas. Habt ihr schon gehört? Hallo Thomas.

Hallo. Genau.

Und heute haben wir eine große Runde, nämlich eine große EU-Runde und begrüßen außerdem noch den Ralf, Ralf Benrath. Hallo.

Hallo.

Hallo, du warst ja schon mal bei uns und ganz frisch neu mit dabei, grüße ich auch noch die Annika, hallo.

Hallo, servus.

Ja, Annika, Annika Zinke, fangen wir doch mal mit dir kurz an. Stell dich doch mal bitte kurz vor, dass wir mal wissen, was du so machst und was dich zu uns führt.

Ja, hallo, freut mich sehr dabei zu sein. Genau, also ich bin Annika, ich komme ursprünglich aus Wien. Also jetzt haben wir heute zwei Quoten Österreicher quasi im Podcast. Das kommt wahrscheinlich auch nicht so oft vor. Genau, ich war ursprünglich Journalistin in Wien und bin dann über Umwege in Brüssel gelandet. War dann bei Alexandra Gese als Praktikantin im Office und habe dort auch begonnen, an Digital Services Act zu arbeiten. Und bin dann in die Fraktion gewechselt, vor zweieinhalb Jahren in der Fraktion der Grünen und war dort zuerst Beraterin für horizontale Digital-Koordinierung. Das heißt quasi über die verschiedenen Ausschüsse übergreifend alles, was Digitalpolitik trifft, zu koordinieren und im Rahmen dessen auch recht stark KI-Gesetz gearbeitet, weil das natürlich über sehr viele verschiedene Ausschüsse drübergegangen ist, weil das ein Thema ist, das nicht unbedingt in einen Ausschuss gut reinpasst. Und bin seit gut einem Jahr jetzt im Binnenmarktausschuss, was einer der zwei federführenden Ausschüsse im KI-Gesetz auch ist, über das wir heute noch sprechen werden. Genau, und habe aber unter anderem auch an anderen Files gearbeitet, wie zum Beispiel im European Media Freedom Act, der heute auch im Plenum abgestimmt wurde. Im Cyber Resilience Act habe ich auch ein bisschen mitgearbeitet. Genau, also alles, was quasi Digitalpolitik betrifft und Binnenmarkt irgendwie betrifft, fällt in meinen Ressort.

Was war denn so uninteressant am Journalismus, dass du die Politik gewechselt bist?

Es war nicht unbedingt uninteressant, aber zum einen, wie es für viel bewusst ist, ist der Journalismus ein recht prekäres Arbeitsumfeld. Das war also einer der Hauptgründe. Und der andere Grund war auch, dass dadurch, dass wir sehr viel online gearbeitet haben, ich großes Interesse daran hatte, besser nachzuvollziehen, beziehungsweise mehr daran zu arbeiten, wie Plattformen eigentlich Inhalte verbreiten, verbreiten, mehr Richtung eben Empfehlungsalgorithmen zu arbeiten. Und deswegen habe ich dann auch, ja, war ich sehr interessiert, am Digital Services Act zu arbeiten, habe dazu auch meine zwei Masterarbeiten geschrieben. Also die Digitalpolitik hat mich im Rahmen meiner journalistischen Karriere quasi immer mehr begleitet, sodass ich dann so interessiert daran war, dass ich mir dachte, okay, ich möchte hauptberuflich daran arbeiten.

Okay. Masterarbeit in was?

Also es waren zwei zum Digital Services Act, weil ich habe dann schon nicht genug davon bekommen. Also beim einen ging es darum, wie Initiativberichte im EU-Parlament, ob die eine Auswirkung auf die Kommissionsvorschläge haben können. Und das habe ich im Rahmen des Digital Services Act gemacht. Und bei dem anderen ging es mehr um Empfehlungsalgorithmen und wie die Digital Services Act reguliert werden.

Und das war dann für Politikwissenschaft?

Genau, Politikwissenschaften und internationale Beziehungen.

Okay.

Wir haben heute ja sehr viele EU-Themen. Da können wir gleich einsteigen. Ein Initiativbericht, weil das ist auch ein Begriff, der gerade gefallen ist. Das sind einfach nicht bindende Resolutionen, könnte man sagen, die das Parlament erlässt. Also das sind fast die einzige Sache, die das Europaparlament von sich aus machen kann und initiieren kann, die halt zur Meinungsbildung dienen sollen. Was hat denn deine Masterarbeit ergeben? Haben sie einen Impact gehabt?

Genau, es ist so, dass das Parlament ja kein Vorschlagsrecht hat, im Gegensatz zur Kommission, die die Gesetze ja vorschlagen darf. Und von allein hat am Anfang ihres Mandats angekündigt, dass sie die Initiativberichte mehr ernst nehmen wird. Und das, was meine Forschung ergeben hat, ist, dass es zwar... In der Theorie nicht übernommen werden muss, in der Praxis es aber schon der Kommission etwas bringt, wenn die Mehrheiten in den Initiativberichten geformt werden, auch berücksichtigt werden im Vorschlag. Das heißt natürlich, wenn man möchte, dass der Vorschlag in irgendeiner Weise Erfolg hat, ist es nicht dumm, sich anzusehen, wie Mehrheiten im Parlament gebildet werden. Und natürlich, wenn das Parlament dann genau zu einem bestimmten Bereich etwas veröffentlicht, dann schon einen Einfluss. Aber grundsätzlich ist es halt schon so, dass viele von den Initiativberichten auch nicht, vor allem Initiativberichte, die jetzt nicht unbedingt auf ein Gesetz spezifisch ausgerichtet sind, nicht unbedingt den Erfolg haben, den sich manche Politiker inne erhoffen. Also man muss da schon auch ein bisschen differenzieren und es ist nicht so, dass jeder Initiativbericht mit dem Strichpunkt übernommen worden ist. Aber gerade beim Digital Services Act, was ja auch ein sehr großes Gesetz war, war das ein bisschen anders, würde ich sagen. Aber vielleicht mal greife ich noch, was zu sagen, weil Ralf schon länger im Parlament ist als ich.

Ja, genau, Ralf, sag doch mal was. Du darfst dich auch noch mal vorstellen.

Ja, danke auch noch mal für die Einladung. Ich bin, genau wie Annika, Fraktionsreferent der Grünen-EFA-Fraktion im Europäischen Parlament. Ich bin für den Ausschuss für Bürgerliche Freiheiten, Justiz und Inneres zuständig und mache da vor allem Datenschutz. Das ist der Ausschuss, der auch federführend für Datenschutz zuständig ist. Nebenbei aber alles, was an anderen Digitalsachen so anfällt, inklusive auch Polizeiinformationsaustausch, polizeiliche und justizielle Zusammenarbeit und solche Sachen. Ich mache aber inzwischen relativ viel auch ausschussüberschreitende Arbeit, weil jetzt inzwischen die Kollegen alle mitgeschnitten haben, dass ich hier der Onkel Ralf von der DSGVO bin. Ich habe früher für den Berichterstatter Jan-Philipp Albrecht bearbeitet, als das Ding verhandelt wurde und habe seitdem sogar einen IMDb-Eintrag. Und jetzt kommen die Kollegen immer und haben irgendwas zu europäischer Sozialversicherungskarte im Beschäftigungsausschuss oder zu Veröffentlichung von Agrarzuschüssen im Agrarausschuss oder zu irgendwelchen anderen Themen, wo es irgendwie dann auch Datenschutzfragen plötzlich gibt. Ich gehe jetzt zum Financial Information Access Geschichte, Finanzdatenraum und komme immer, Ralf, kannst du hier mal drüber gucken? Und das ist ganz, bis zur Fischerei ging das schon. Das ist irgendwie ganz lustig manchmal. Dann lernt man auch viel über den Tellerrand hinaus. Ja, und ich habe jetzt die Freude gehabt, mit Arne quasi die letzten, weiß nicht, drei Jahre oder so zusammenzuarbeiten am KI-Gesetz, am Artificial Intelligence Act, weil... Ja, da kommen wir später zu. Die Details dazu spreche ich mir für nachher. Aber warum das ein gemeinsames Ausschussverfahren mit dem Binnenmarkt und dem Innenausschuss war, das war eine lustige Geschichte. Es gibt noch Axel Voss-Witze später.

Das sind immer die besten. Und hast du auch schon einen Initiativbericht mal angestoßen?

Angestoßen selber nicht. Verdoppelt. Wie viel davon jetzt in der KI- Verordnung im IAI-Act gelandet ist, ich glaube ehrlich gesagt gar nicht so viel, weil die Kommission da einen sehr strikten Rahmen gesetzt hat, aber da gehen wir später noch an die Details.

Nur mal um so ein Gefühl dafür zu bekommen, weil ich habe diesen Begriff Initiativbericht ehrlich gesagt noch nie gehört, aber wie viele werden denn da so pro Jahr von gemacht? Ist das so ab und zu mal einer oder passiert das am laufenden Meter?

Nee, das passiert viel viel am Anfang der Legislaturperiode, wenn die neue Kommission erst anfängt, ihr Arbeitsprogramm abzuarbeiten und bis dann die ersten Gesetzesvorschläge kommen, dauert es meistens eine Weile und dann sind die Leute noch übermotiviert und wollen selber was machen.

Hast du so Beschäftigungstherapie fürs Parlament?

So ein bisschen. Die Abgeordneten wollen mal irgendwas sagen, ohne dass es gleich ein Gesetz ist und dann schreibt man halt so einen Initiativbericht. Das ist quotiert. Das können nicht beliebig viele werden. Ich weiß nicht, ob das in allen Ausschüssen so ist. Bei uns im Innenausschuss ist es so, dass dass, glaube ich, parallel immer nur sechs gleichzeitig verhandelt werden dürfen?

Ich glaube, die Kapazität hätten wir gar nicht, sechs gleichzeitig zu verhandeln. Also ich glaube, daran scheitert es schon, aber normalerweise kann man die vorschlagen und das ist in der Menge begrenzt. Aber wir hatten zum Beispiel im Binnenmarktausschuss gegen Ende noch einen sehr erfolgreichen, Initiativbericht zu Addictive Design, also Abhängigkeit machendem Design, sein, hört sich in Deutsch nicht so gut an, wo wir das Feedback auch von der Kommission bekommen haben, dass das eins der Top-Themen ist, an dem die jetzt auch für die nächste Legislaturperiode arbeiten. Also es kommt auch ein bisschen darauf an, in welcher, ob man quasi so ein bisschen das Gefühl hat, in die richtige Richtung quasi zu stechen mit dem Thema.

Also Initiativberichte sind so ein bisschen strikter reguliert. Die müssen von der Konferenz der Fraktionsvorsitzenden bewilligt werden. Wie gesagt, es darf nur sechs parallel laufen, zumindest in meinem Ausschuss. Andere Ausschüsse können aber noch eine Beteiligung einfordern und dazu noch Opinions machen, die dann irgendwie berücksichtigt werden müssen oder auch nicht. Das ist ein bisschen mühsam. In meinem Ausschuss ist es eher so, wenn wir irgendwie eine Stellungnahme raushauen wollen, dann machen wir eine Resolution. Die wird einfacher verhandelt, die muss nicht genehmigt werden. Da gibt es auch keine anderen Ausschüsse, die mit reinquatschen wollen. Und die wird dann quasi vom Liebeausschuss, also Civil Liberties, Justice, Non-Fers, direkt im Plenum getabelt. Und dann ist sie meistens nach einem Monat schon durch.

Verstehe. Es gibt also sozusagen auch noch kleinere Einheiten von Schlussfassungen.

Ich entdecke nach 15 Jahren hier immer noch Sachen in der Geschäftsordnung, die ich bisher noch nicht kannte.

Na gut, aber wir wollen uns ja heute nicht so sehr mit der Bürokratie an sich beschäftigen, sondern mal konkret reinschauen, was derzeit denn eigentlich so alles in der Pipeline ist, beziehungsweise jetzt gerade beschlossen worden ist oder unmittelbar vor dem Beschluss steht, unter anderem den AI-Act. Aber du, Ralf, hast ja noch ein paar andere Themen auch noch, die du mitgebracht hast.

Ja, das ist so ein bisschen eine Digitalwoche hier im Plenum gerade. Deswegen ist Annika ja auch gerade in Straßburg, weil gerade Plenarsitzung des Europäischen Parlaments in Straßburg ist. Und zwei, was heißt kleinere, die nicht so viel Aufsehen erregt haben, Sachen sind mir hier noch aufgefallen. Das ist einmal die Produkthaftungsrichtlinie, die revidiert wurde und der Cyber Resilience Act. Und die führen beide Sachen ein, für die wir damals mit Jan-Philipp Albrecht noch und so schon seit teilweise zehn Jahren gekämpft haben. Wo man also auch mal schön sehen kann, Politik ist manchmal echt das langsame Bohren dicker Bretter. Als wir damals angefangen haben, mit Jan-Philipp Albrecht uns um Produktsicherheit, also Quatsch, IT-Sicherheit mal zu kümmern, kam man ziemlich schnell drauf, auch natürlich durch Gespräche mit Linus und anderen vom CCC und so. Es gibt keine guten Anreizstrukturen bisher für die Hersteller, sich ernsthaft um IT-Sicherheit zu kümmern. Es gibt keine Produkthaftung für Software, es gibt keine Verpflichtung, Sicherheitsupdates zu liefern oder irgendwas. Software kommt immer mit dieser allgemeinen Terms of Service zum Anklicken, ich akzeptiere die Software so, wie sie ist. Und keiner ist verantwortlich. Das hat sich jetzt geändert, nach diesen zehn Jahren oder wie lange da andere Leute schon drüber nachgedacht haben. Und das eine ist die Product Liability Directive, die Produkthaftungsrichtlinie, die gibt es schon ewig, die ist dieses Jahr 39 geworden, wurde 1999 mal kurz ein bisschen gänzt, um landwirtschaftliche und Fischereiprodukte mit abzudecken. Und sie sagt im Prinzip, wenn du ein schadhaftes Produkt verkaufst und Leute nehmen deswegen Schaden daran, das kann auch mentalen Schaden beinhalten, dann bist du verantwortlich und musst dafür haften und im Zweifelsfall Schadensersatz und sowas zahlen. Und jetzt mit der neuen Revision, die gerade gestern angenommen wurde, ist endlich auch Produkthaftung für Software mit dabei. Das heißt, wenn du eine schadhafte Software in den Markt bringst, kommerziell, das ist immer nur kommerziell, dann bist du haftbar. Das heißt, damit hast du natürlich jetzt als Hersteller einen starken Anreiz, dich mal ernsthaft um IT-Sicherheit zu kümmern. Was wichtig ist, da gab es auch zwischendurch immer wieder mal Fragen aus der Community, die, Wenn du ein freier Softwareentwickler bist, der nur zu Hause so ein bisschen vor sich hin frickelt und das Zeugs irgendwo auf GitHub hochlädt oder so, aber das nicht geschäftlich macht, dann bist du nicht in der Verantwortung. Wenn jemand jetzt dein freies Softwaremodul nimmt und ein kommerzielles Produkt einbaut, dann ist der dafür verantwortlich und nicht du als Entwickler von dem kleinen Open-Source-Software-Tool. Das war also ganz wichtig, das haben wir da auch gewonnen. Was sonst? Ja, ich glaube, das waren so die wesentlichen Elemente.

Ja, vielleicht bei dem Punkt. Das war auch etwas, das wirklich gerade bei der Free Software Foundation Europe ein riesiges Thema war. Also in der gesamten Community der freien und offenen Software hat man sich da große Sorgen gemacht rund um Cyber Resilience Act. Und es ist gut, wenn da jetzt eine Lösung gefunden wurde, die einfach gemeinwohlorientierte, nicht kommerzielle Produkte ausnimmt. Und ich frage mich dann immer so, wie stabil sind die Definitionen? Ist das wirklich gut abgegrenzt? Und de facto, was du damit natürlich dann auch hast, ist, dass die Person, die daraus ein Geschäft macht, auf einmal natürlich auch alle etwaige Haftung übernimmt und die nicht weitergeben kann an irgendwen. Was, glaube ich ja auch, wenn wir so beim ersten drüber nachdenken, eine brauchbare Lösung ist. Ein anderes Thema, was beim Cyber Resilience Act noch ganz… Thomas.

Wir waren noch bei der Produkthaftungsrichtlinie. Cyber Resilience Act habe ich mir gar nicht vorgestellt. Aber es geht sehr ineinander über.

All the same.

Also kurze Anmerkung dazu. Also diese Product Liability Directive, die gibt es ja im Prinzip schon. Die ist bloß 40 Jahre alt und seitdem nicht wirklich angefasst worden, wenn ich das richtig sehe.

Doch, es wurden 1999 landwirtschaftliche und Fischereiprodukte mit reingetan.

Aha. Deine neue Kernkompetenz sozusagen.

Aber sonst nichts. Und jetzt die große Neuerung ist eben, dass jetzt auch digitale Produkte mit drin sind.

Ah, okay. Und was heißt das dann konkret? Also ich meine, wenn ich jetzt sozusagen Windows benutze und dann mentalen Schaden davon trage, was ich durchaus für wahrscheinlich halte, dann kann ich dann sozusagen Bill Gates anrufen und der muss mir dann Rente zahlen.

Naja, wenn dann die entsprechenden Gerichte, wo das wahrscheinlich landen wird, entscheiden, dass das Produkt schadhaft war und du deswegen einen mentalen Schaden davon getragen hast, dann ja.

Verstehe.

Halte ich aber den Fall eher für unwahrscheinlich. Es gibt sozusagen kaputte Software, die einfach Sicherheitslücken und ähnliches hat.

Ja, und das heißt, hat das den Status einer Verordnung? Gilt das sozusagen unmittelbar dann?

Das ist eine Richtlinie, die muss durch nationales Recht umgesetzt werden.

Okay, und das heißt, das kann auch noch ein bisschen dauern, sozusagen.

Ja, da fragst du mal die FDP, wie lange die wieder auf die Bremse treten will. Das ist ja hier inzwischen ein Running Gag, hätte, hätte Lieferkette.

Ja, genau. Okay, gut, aber nehmen wir jetzt mal an, es sei im Sinne des Gesetzes in eine Richtlinie überführt worden bereits. Kannst du mal so einen typischen Fall aufmachen, den ihr sozusagen bei dem Design im Sinn hattet und wie sich das dann äußern könnte konkret?

Annika, hast du da mehr mit zu tun gehabt? Weil das ja euer Ausschuss war.

Es war mein Ausschuss, aber es war mein Kollege, der daran gearbeitet hat. Aber es ist zum Beispiel jetzt nicht KI, nur um das ganz kurz zu sagen, weil für KI war eigentlich ein Schwestergesetz vorgesehen, nämlich die KI-Haftungsrichtlinie. Die steckt aber momentan im Justizausschuss fest, da ist der Berichterstatter Axel Voss. Also da gab es etwas Ungereimtheiten, was die Ausrichtung des Gesetzes betrifft. Aber ja, ich habe nicht in der plattbaren Produkthaftungsrichtlinie gearbeitet.

Ja, ich habe die jetzt auch nicht im Detail verfolgt. Ich habe vor allem das Briefing von unserem Kollegen dazu gelesen. Also auch nicht den ganzen Gesetzestext. Aber so ein Beispiel, was ich mir jetzt da vorstellen würde, ist, wenn du dir einen Smart Thermostat kaufst für deine Heizung.

Ja, habe ich gerade gemacht. Sehr gut. Viel Spaß.

Wer klemmt denn bitte sein Haus ans Internet?

Dann mit dem Internet hat das einfach nichts zu tun.

Ach so, okay. Aber wenn das Ding sozusagen Internet-Konnektivität hat und sich da jemand reinhackt und irgendwie deine Heizung so hoch dreht, dass der Boiler kaputt geht oder sowas, dann wäre der Thermostat-Hersteller dafür haftbar.

Wow.

Wenn sozusagen dem nachzuweisen ist, dass er hier ein schadhaftes Produkt auf den Markt gebracht hat.

Aber mit dem Nachweis, das könnte natürlich dann nochmal so ein Ding werden. Das muss sich dann erst mal noch zeigen vor den Gerichten, was für Nachweise dort erbracht werden müssen. Oder gibt es dafür auch dann schon eine Maßgabe, wie das zu erfolgen hat?

Es gibt bei bestimmten Fällen eine Umkehrung von der Beweislast. Die bestimmten Fälle müsste ich aber nachschauen. Aber es gibt Fälle, wo es für den Konsumenten sehr schwierig nachzuweisen ist, wo das umgekehrt wird und auch in Fällen, wo es eben besonders schwer der Schaden wäre.

All right, gut. Dann können wir ja auf den Cyber Resilience Act kommen, Ralf. Was hat es denn damit auf sich?

Genau, das ist ein neues Gesetz. Das ist eine Verordnung, gilt also unmittelbar, nachdem sie jetzt veröffentlicht wird und dann in Kraft tritt. Und da geht es sozusagen nochmal härter wirklich in die Pflicht für Anbieter von elektronischen Endgeräten. Das kann auch Software beinhalten oder andere digitale Devices. Das ist so ein bisschen ähnlich aufgehängt wie das KI-Gesetz, der AI-Act im Rahmen dieses sogenannten New Legislative Framework, wo noch so ein ganzer Rattenschwarz von Marktaufsichtsbehörden dranhängt und so und am Ende das CE-Label rauskommt, was man so kennt als Label für Produktsicherheit in Europa. Ja. Die Hersteller von solchen Produkten, also das ist eine relativ allgemein gehaltene Regelung, Artikel 13, Obligations of Manufacturers, also Auflagen für Hersteller, die müssen sich an die essentiellen, ich weiß immer nicht, was du auf Deutsch hast, wir machen alles auf Englisch hier, Essential Requirements, essentielle Anforderungen, danke, in Annex 1 halten. Und Teil 1 von Antrag 1 ist über Cyber Security. Und da steht dann ganz klar drin, Produkte mit digitalen Elementen sollen designt, entwickelt und hergestellt werden, sodass sie ein angemessenes Level von Cybersicherheit basierend der jeweiligen Risiken liefern. Und sie sollen zum Beispiel auf den Markt gebracht werden ohne bekannte Sicherheitslücken. Also versteckte Backdoors, die der Hersteller kennt, aber nicht angibt beim Verkauf, sind jetzt damit verboten offiziell. Sie müssen bei Default einer sicheren Konfiguration ausgeliefert werden. Sie müssen Sicherheitsupdates kriegen können. Sie müssen vor ungesichertem Zugriff geschützt sein und wenn es einen Zugriff geben sollte, müssen Sie es berichten. Und jetzt steht sogar noch drin, Sie müssen die Vertraulichkeit von gespeicherter oder übertragener Daten, egal ob persönliche Daten oder andere, sicherstellen, unter anderem durch Verschlüsselung, Speicher und auch Transit. Ja. Und die Sicherheitsupdates müssen mindestens für fünf Jahre bereitgestellt werden. Außer das Produkt hat absehbar eine deutlich geringere Lebenszeit, dann reicht es auch kürzer. Aber mindestens sind erstmal normalerweise fünf Jahre müssen verpflichtende Sicherheitsupdates geliefert werden.

Fünf Jahre ab was? Ab was gerechnet?

Ab Verkauf. Ab Verkauf. Verstehe ich zumindest so.

Also das ist wirklich so wie ein Mindesthaltbarkeitsdatum, nur diesmal wirklich für Sicherheitsupdates. Genau.

Und die sagen auch ganz deutlich da, ich glaube in einem Erwägungsgrund, ich finde den Teil gerade jetzt nicht mehr sofort, wenn klar ist, dass das Gerät eine längere Lebenszeit hat, zum Beispiel Router oder andere Sachen, die normalerweise länger laufen als fünf Jahre, dann müssen die Sicherheitsupdates auch jetzt für die erwartbare Lebenszeit geliefert werden. Was da jetzt noch nicht drin ist, das hatten wir mit Linus damals mal diskutiert bei einer Anhörung unserer Fraktion zur IoT-Sicherheit, kurz nach dem WannaCry-Unglück. Was passiert, wenn diese Lebenszeit erreicht ist, End of Life, und die keine Sicherheitsupdates mehr liefern? Wann müssen sie dann sozusagen dem Nutzer es ermöglichen, das Produkt selber up-to-date, wenn zum Beispiel die Software unter freie Lizenzen gestellt werden muss oder so. Das ist hier noch offen. Das ist nicht geklärt. Du hast einfach nur jetzt mindestens fünf Jahre die Updates. Wenn das Produkt absehbar länger hält, dann auch noch länger. Ja, und danach kannst du es dann wegschmeißen oder auf eigenes Risiko weiter benutzen. Aber das ist wirklich ein ziemlicher Durchbruch, finde ich. Das muss man echt mal anerkennen.

Das würde ich auch meinen.

Es war tatsächlich ein Änderungsantrag im Binnenmarktausschuss, das unter einer freien Lizenz zu veröffentlichen, wenn es nicht mehr am Markt ist. Leider hat es keine Mehrheit bekommen.

Ja, solche Sachen werden nie verstanden. Aber jetzt mal praktisch gefragt, wenn du sagst Mindeststandards bei IT-Sicherheit, so peinliche Dinge wie ungehäschte Passwörter, das dürfte es dann nicht mehr geben, oder?

Nee. Nee.

Und etwas, an das ich mich auch noch erinnere, wir haben am Anfang an dem Gesetz gearbeitet, da gab es ja auch diese Meldung von Sicherheitslücken, wenn ein Hersteller jetzt etwas findet, eine Lücke in der eigenen Software oder in den eigenen Geräten, dass diese Lücken dann auch an staatlichen Stellen unmittelbar gemeldet werden müssen, auch noch bevor die Sicherheitslücke behoben wurde. Wo es dann ja auch die Sorge gab, dass dieses Wissen um etwaige Einfallstore dann von staatlichen Stellen vielleicht sogar auch missbraucht würde für zum Beispiel Staatstreuer.

Ja, ich habe den Text jetzt nicht vor mir, aber wie ich den Briefing vom Kollegen Christian entnehme, gibt es jetzt anscheinend eine neue Stelle bei der EU-IT-Sicherheitsagentur Enisa, die genau diese Sicherheitslücken bekommen soll.

Ja, das war nämlich wirklich ein bisschen problematisch, weil damit natürlich, wenn du konkret den Weg, wie deine Software aufgemacht werden kann, sofort melden musst, noch bevor du es geschlossen hast. Also das widerstößt dann ein bisschen gegen, Sponsor-Predisclosure ist das jetzt nicht, aber es öffnet gewisse Gefahren.

Okay, ob man die bevor man es gepatcht hat schon melden muss, weiß ich jetzt nicht. Das müsste man im Detail nochmal nachgucken. Das habe ich jetzt nicht vor mir.

Das war zumindest früher mal ein Problem. Ab wann gelten denn diese Gesetze?

Der Cyber Resilience Act, wie gesagt, ist eine Verordnung, die gilt unmittelbar. Die ist jetzt quasi heute, gestern angenommen worden im Plenum. Das muss jetzt der Rat formal noch annehmen, weil wir noch im ersten Lesungsverfahren sind. Dann wird es im Amtsblatt der EU veröffentlicht. Und dann weiß ich nicht, ob es irgendwelche Übergangsfristen gibt oder ob das dann sofort gilt. Steht jetzt hier nicht im Briefing drin.

Also meines Wissens nach gibt es relativ lange Übergangsfristen. Also zumindest nachdem es aus dem Parlament kam, haben wir sehr große Probleme gehabt, die Fristen nicht allzu lange zu haben.

Also ein paar Jahre, oder was muss man sich da jetzt vorstellen?

Ja, genau, ein paar Jahre.

Okay, das tropft also so langsam rein.

Okay, ich sehe gerade Artikel 14, Reporting Obligations of Manufacturers. Da geht es offenbar nur um Verwundbarkeiten, die aktuell aktiv ausgenutzt werden. Wenn also gerade irgendwie Angriffe laufen, dass dann die nationalen C-Cert-Koordinatoren und Enisa benachrichtigt werden sollen, damit die Schritte ergreifen können. Wenn gerade ein Angriff läuft, macht das ja auch Sinn. Aber darüber hinaus sehe ich jetzt keine Verpflichtungen.

Zumindest gibt es jetzt erstmal nicht mehr das Admin-Admin-Standardpasswort bei irgendwelchen Routern. Das ist schon mal wichtig, dass mal überhaupt so eine Linie da gezogen wird mit so Leuten. Also wenn ihr hier irgendwie mitspielen wollt, dann ist einfach mal ein gewisses Minimum jetzt auch definiert und nicht nur so der Markt macht das schon. Und ich denke, das ist dann doch schon ein wichtiger Schritt nach vorne.

Ja, und vor allem auch, Ralf hat ja schon die Analogie mit dem CE-Label genannt. Genauso wie man sich darauf verlassen muss, dass ein Gerät, das an Strom hängt, nicht zum Rauchen anfängt und explodiert, es hat auch bei der Netzwerkverbindung ein gewisses Mindestmaß an Sorgfalt einfach geboten. Also ob dieses Gesetz wirklich in allem perfekt ist, wird man sehen, aber die Richtung ist da schon die richtige, glaube ich.

Und hier gab es natürlich auch wieder die Frage, was ist mit Open Source? Der gleiche Ansatz wieder bei der Produkthaftungsrichtlinie. Wenn man Software nicht kommerziell auf den Markt bringt, ist man raus. Also der kleine Open-Source-Entwickler, der irgendwelche Tools baut, die dann andere kommerzielle Hersteller nehmen, der ist raus und die kommerziellen Hersteller sind in der Pflicht. Und die müssen dann sozusagen auch für die Sicherheitsupdates sorgen, nicht der kleine Bastler in der Kellerwerkstatt oder so.

Aber was definiert denn dann kommerziell? Also es gibt ja auch oft so Leute, die Open Source machen und dann quasi selber kommerziell sind, weil sie dann Beratungen dafür machen. Damit wären sie ja sozusagen im kommerziellen Spiel.

Oder um Spenden bitten für ihre Software.

Graubereich.

Puh, das weiß ich nicht. Annika, das ist wahrscheinlich in deinem Ausschuss schon besser ausdiskutiert. Das wüsste ich jetzt nicht. Gibt es bestimmt irgendwo schon Standarddefinitionen?

Es gab dazu lange, ich weiß, es gab dazu sehr lange Diskussionen, gab auch beim Cyber Veselians Act und auch gerade was Spenden betrifft, vor allem Spenden, die immer wieder über einen längeren Zeitraum passieren, auch von größeren Entitäten. Ich weiß jetzt aber auch nicht, was genau das Endresultat war, weil wir natürlich, wenn es noch im Parlament ist, relativ viel eingebunden sind. Aber wenn das dann final in den Trilog geht, vor allem war das auch zu einer Zeit, wo das KI-Gesetz gerade im Trilog war, Da sind wir dann auch als nicht federführende Ausschüsse ein bisschen raus. Aber an sich wurde sich jetzt auf eine Definition geeinigt, mit der meines Wissens die Open-Source-Community recht zufrieden ist und die jetzt eigentlich auch in den meisten neuen Digitalgesetzen verwendet worden ist, wo relativ klar ist, was ist wirklich auf den Markt bringen und was ist, wenn man es nur eben zum Beispiel bei GitHub hochlädt.

Ich habe hier gerade herausgefunden, Erwägungsgrund 15, da steht was drin, die, ich muss jetzt sozusagen live vom Englischen ins Deutsche übersetzen, die Lieferung im Kurs einer kommerziellen Aktivität kann charakterisiert werden, nicht nur indem ein Preis für ein Produkt mit digitalen Elementen verlangt wird, sondern auch, wenn man einen Preis verlangt für technische Unterstützungsdienste.

Das würde das dann mit einschließen.

Well, this does not serve only the recuperation of actual costs.

In einer der letzten Folgen haben wir Gesetze durch JGPT analysieren lassen. Diesmal lassen wir sie durch die Verhandler selbst interpretieren. Ein Fortschritt. Aber das ist auch passend irgendwie zu dem nächsten Gesetz, das wir noch kurz ansprechen wollten, Ralf. Das ist auch etwas, was du uns mitgebracht hast. Das hat ja fast schon irgendwie den guten Nachrichtsjingel verdient.

Die Plattform-Workers, ne?

Ja, genau.

Genau. Es gibt jetzt auch seit dieser Woche eine Plattform, die wurde nicht im Plenum abgestimmt, sondern die war schon im Februar ausverhandelt und war bisher aber im Rat blockiert. Und gerade jetzt vorgestern am Montag hat wieder der Ministerrat für Beschäftigung, Soziales, Gesundheit und Verbraucherschutz getagt. Und da gab es bisher eine Sperrminorität, bestehend aus Estland, Griechenland, Frankreich und Deutschland, mal wieder die FDP. Und Estland und Griechenland haben jetzt sich von der Enthaltung zu einem Vote, zu einer Abstimmung dafür durchgerungen. Deswegen gab es jetzt nur noch mit Frankreich und Deutschland alleine keine Sperrminorität mehr. Und deswegen kommt jetzt die Platform Workers Directive, die erstmals sozusagen die Arbeitsbedingungen regelt für Leute, die über Plattformen, was weiß ich, wie Uber Eats oder Deliveroo oder sowas arbeiten, aber auch zum Beispiel Mechanical Turk von Amazon oder so Zeug. Weil da bisher immer noch ganz oft unklar war, sind das Angestellte, sind das Freelancer, welche Rechte haben die gegenüber dem Quote-unquote Arbeitgeber und so. Und diese Plattform Worker's Direct, soweit ich es verstanden habe, wie gesagt, das war Beschäftigungsausschuss, ich habe es auch nur von der Seite mitverfolgt, die macht jetzt vor allem zwei Sachen, die... Sagt eben, dass sozusagen erst mal die Annahme gilt, wenn man so ein Plattform-Worker ist, ist man Angestellter. Und die Beweislast, dass das nicht der Fall ist, hat der Arbeitgeber sozusagen oder die Plattform. Das heißt, damit gelten dann die ganzen Rechte als Arbeitgeber wie Recht auf bezahlten Urlaub, Recht auf Streik und alles mögliche andere, Krankengeld und so weiter. Und wie gesagt, wenn die Plattform meint, nee, aber in dem Fall ist das doch ganz klar nur ein Freelancer, der macht nur ab und zu mal hier was, wenn er Bock drauf hat, dann muss sie das eben nachweisen. Und dann ist sie raus aus den Arbeitgeberverpflichtungen. Und das Zweite ist, dass es jetzt zum ersten Mal Regeln gibt für algorithmisches Management von Arbeitern oder Arbeitenden. Das heißt, wenn man ernsthafte Entscheidungen trifft über so einen Plattformarbeiter oder eine Arbeiterin, zum Beispiel Beendigung des Vertrages oder so, das darf auf keinen Fall von einem Algorithmus gemacht werden, das muss immer ein Mensch entscheiden.

Gilt denn, also für welche Unternehmen gilt denn das und für welche Mitarbeiter gilt denn das? Also inwiefern ist jetzt die Zugehörigkeit oder der Aufenthalt in Europa da entscheidend oder gilt das dann irgendwie weltweit oder wie ist das gedacht?

Das gilt immer nur für Europa. Europäische Gesetz gilt nur in Europa.

Klar, aber gilt es auch für einen indischen Plattformarbeiter, für eine Firma, die in Europa ist?

Gute Frage. Kann ich jetzt so nicht beantworten. Wie gesagt, das habe ich selber nicht verhandelt.

Und gilt es für einen deutschen Mitarbeiter einer indischen Firma zum Beispiel oder einer amerikanischen? Also das ist so das, was ich mich frage. Was ist jetzt da sozusagen, wen betrifft das quasi? Und wann ist man dadurch geschützt? Weil so viele Plattformen haben wir ja nicht in Europa.

Muss ich mal kurz gucken, ob das von der Kollegin hier im Briefing irgendwie abgedeckt ist, sonst wüsste ich es nicht.

Also es ist ganz oft so bei diesen grenzüberschreitenden Arbeitsverhältnissen, dass es sehr schnell sehr kompliziert wird, auch innerhalb der EU. Da gibt es auch recht komplizierte Regelwerke, so Stichwort Entsenderichtlinie. Aber wovon man auf jeden Fall ausgehen kann, ist, dass die klassischen Essensauslieferer, Leute, die in der Servicebranche über Plattformen beschäftigt sind, alles, was eben über die klassischen Apps bezogene Arbeitsleistung ist, mehr oder weniger, hier auf jeden Fall davon enthalten ist. Und die Gewerkschaften jubeln hier auf jeden Fall. Man sollte anmerken, dass schon vor dem Konflikt, den Ralf gerade genannt hat, es hier eine Abschwächung gab zwischen dem, was das Parlament verabschiedet hat. Da hätte es so einheitliche Kriterien gegeben, ab wann du denn jetzt wirklich angenommener fixer Angestellter von dieser Plattform bist. ist. Und diese Kriterien gibt es jetzt aber leider nicht mehr. Nur noch Prinzipien, aber da gibt es dann Umsetzung, Spielraum. Das hier ist ja eine Richtlinie, die muss erst in nationales Recht überführt werden. Und das wird zu einem Fleckerteppich führen, wo einfach in unterschiedlichen Ländern unterschiedliche Kriterien gelten. Und das ist für das Land kann das immer noch gut sein, wenn man jetzt hier es schafft, Druck zu machen. Aber es gibt kein europaeinheitliches Niveau, ab wann der Uber-Treiber, der Uber-Fahrer könnte jetzt zum Beispiel in Deutschland Status A haben und in Österreich Status B zum Beispiel.

Es gibt sogar, habe ich jetzt gelernt, keine einheitliche Definition von was Work, also Arbeit, eigentlich genau bedeutet, weil das anscheinend EU-weit bisher nicht harmonisiert ist und die Mitgliedstaaten wohl darauf bestanden haben, dass Arbeitsrecht und sowas weiterhin nationale Kompetenz ist.

Das könnte die Sache ein bisschen schwierig machen, oder?

Ja, wie Thomas sagt, das wird einen Flickenteppich geben, aber besser so ein Flickenteppich als gar keine Rechte für die Plattformarbeiter, ganz klar. Was ich gerade noch gesehen habe hier im Briefing der Kollegin ist, dass die Plattformen auch jetzt Kommunikationskanäle bereitstellen müssen, damit die Plattformarbeitenden untereinander kommunizieren können, zum Beispiel um Betriebsräte zu gründen oder sowas.

Ah ja. Okay, aber das sind so einfach mal so die typischen Tages, weil das erste Beispiel mit diesem Mechanical Turk, da denkt man ja dann gleich irgendwie Amazon und Ausland und so.

Aber… Amazon hat eine Niederlassung in Europa.

Ja klar, aber diese Mechanical Turks sind ja sozusagen traditionell sehr weit über den Planeten verstreut gewesen, aber es ist natürlich klar, dass jetzt vor allem so Lieferdienste, was Thomas schon sagte oder eben sowas wie Uber, davon dann vermutlich auch betroffen sein wird. Nur, dass man es mal zuordnen kann, was davon wirklich dann tangiert ist. Weil Plattform ist ja dann ein dehnbarer Begriff.

Was mal konkret, ist Onlyfans davon betroffen?

Du hast Sorgen.

Sag ja nur.

Vermutlich schon. Ich meine, Sexarbeit ist auch Arbeit.

Ja, stimmt. Sind die da nicht alle selbstständig?

Was man vielleicht einfach noch vermelden sollte oder dazu sagen ist, dass das auf jeden Fall ein Schritt in die richtige Richtung ist. Und ich glaube auch, dass da die Gewerkschaften schon einen wichtigen Schritt tun, weil gerade freie DienstnehmerInnen oder Selbstständige waren ja oft auch bei den klassischen Arbeitsrechten diejenigen, die durch die Finger geschaut haben und nicht mal repräsentiert wurden. Und denen einfach hier zu einem besseren Status zu verhelfen, ist auf jeden Fall gut. Und Und zuletzt nochmal jetzt dadurch, dass das auf diese Art jetzt irgendwie durchgegangen ist, es zeigt auch irgendwie schön, dass die Achse Deutschland-Frankreich alleine dann doch nicht verhindern kann. Und dass sich alle anderen Staaten hier schon darauf einigen konnten. Also da kann man den Liberalen wahrscheinlich danken, die in Deutschland die. Zustimmung verhindern und in Frankreich ja an der Regierung sind.

Ja, aber das kann man vielleicht nochmal kurz ein bisschen vertiefen, Weil das ist echt ein Problem inzwischen mit diesem sogenannten German Vote, was in Brüssel hier inzwischen alle kennen. Und das ist einfach ein Fehler im Koalitionsvertrag in Berlin. Das gibt es ja oft auch in Landesregierungen oder Landeskoalitionsverträgen, dass da drin steht, wenn die Regierungsparteien sich nicht einigen können auf irgendeine Sache, enthalten sie sich im Bundesrat. So, im Bundesrat reicht aber normalerweise eine einfache Mehrheit, um ein Gesetz zu beschließen. Rat der Minister der Europäischen Union brauchst du eine qualifizierte Mehrheit. Da brauchst du irgendwie 72 Prozent der Mitgliedstaaten und die 65 Prozent der europäischen Bevölkerung repräsentieren. Ich glaube, so in der Größenordnung. Und das heißt aber dann, eine Enthaltung ist dann genauso scheiße wie ein Dagegenstimmen, weil einfach diese qualifizierte Mehrheit nicht zustande kommt. Das heißt also, wenn die FDP als kleinster 4-Prozent-Koalitionspartner in Berlin sagt, wir sind dagegen, dann muss die Regierung sich enthalten, laut Koalitionsvertrag, und arbeite dann aber aktiv gegen so ein Gesetz und enthält sich nicht nur einfach so, ne?

Das nennt man German Vote?

Ja, weil das einfach jetzt in ganz vielen Gesetzen passiert, dass die Deutschen sich enthalten und damit dazu beitragen, dass vielleicht eine qualifizierte Mehrheit nicht zustande kommt, weil die FDP dagegen ist. Hätte, hätte, Lieferkette.

Und das ist sozusagen ein Konstruktionsfehler im Koalitionsvertrag, dass man es für Europa nicht anders geregelt hat.

Genau. Und das ist auch ein Konstruktionsfehler im Bundeskanzleramt, würde ich mal sagen. Also unter Merkel wäre das nicht so durchgegangen, weil das einfach massiv die deutsche Rolle auch in der Europäischen Union untergräbt. Also Deutschland, auch bis zu Merkel und so, war immer eigentlich dafür bekannt, dass man versucht hat, einen Ausgleich zu finden zwischen den Mitgliedstaaten, dass man nicht so selber mit dicken, ausgefahrenen Ellenbogen in den Verhandlungen reingegangen ist und einfach versucht hat, den Laden zusammenzuhalten. Idealerweise gemeinsam mit Frankreich. Und wenn jetzt dank der FDP die Deutschen da immer so rumpoltern müssen und immer sagen, wir sind aber dagegen de facto und im Zweifelsfall so ein Gesetz blockieren, weil dann kommen natürlich viele kleinere Mitgliedstaaten auch oder auch Frankreich dann, die sich hinter Deutschland dann verstecken. Und das ist einfach echt ziemlich bitter. Und wie gesagt, in Brüssel schon bekannt als The German Vote.

Annika, du hast da noch was zu sagen?

Nein, ich wollte nur sagen, dass genau wie Ralf das angesprochen hatte, wenn natürlich Deutschland und Frankreich beide sagen, sie sind dagegen oder einer enthält sich, der andere ist dagegen, dann kreiert das einen Effekt auch bei den anderen Mitgliedstaaten. Das heißt, die überlegen sich dann schon, vielleicht sollten wir doch dagegen stimmen oder schauen wir uns das nochmal genauer an, warum denn die zwei Großen da dagegen stimmen. Und wir hatten das Problem auch in dem KI-Gesetz letztlich, dass wegen Deutschland und wegen der FDP das Gesetz und die Abstimmung im Rat auf der Kippe gestanden sind.

Wegen Deutschland und Frankreich.

Ja, zitiere ich dann nochmal den griechischen Arbeitsminister von den Konservativen. Da wir im Geist von Kompromiss und europäischer Einheit arbeiten wollen, werden wir die Richtlinie unterstützen. Sehr schön. Und ja, das obliegt dann wirklich den Regierungen oder eben den Koalitionsabkommen, wie das genau gehandhabt wird. In Österreich ist es zum Beispiel in der aktuellen Regierung so, dass man sich da bewusst nicht abstimmt. Also hat man auch wegen Klimaschutz gemacht, dass da sozusagen die grüne Klimaministerin sich austoben kann, ohne dass hier irgendjemand reinredet, was die Ratspositionen betrifft. Ist dann aber zum Beispiel bei Überwachungsthemen unter Umständen sehr negativ, wenn du keinen Ausgleich hast und das dann der konservative Innenminister selber alles entscheiden kann. Aber ja, das ist Europa.

In Deutschland ist es so, die SPD-Innenministerin entscheidet das Asylpaket mit und die Grünen schlucken es. Naja, anderes Thema.

Okay, aber soviel jetzt zur Platform Workers Directive. Jetzt gibt es demnächst Porno-Betriebsräte, das ist doch super. So, ein weiteres Thema noch vor dem AI-Act hast du noch für uns, nämlich die Health-Plattform, nein, wie heißt es, Entschuldigung.

European Health Data Space.

Der European Health Data Space, korrekt.

Genau, das hast du verhandelt. Also, worum geht es dabei? Ich glaube, das hatten wir in Ansätzen, aber give us the primal.

Ja, das ist auch wieder ein Gesetzesvorschlag, der in zwei Ausschüssen gleichberechtigt verhandelt wird. In meinem Ausschuss Liebe, also Civil Liberties, Justice and Home Affairs, wegen der Datenschutzkomponente und Gesundheit- und Umweltausschuss wegen Gesundheit, Gesundheitsdaten. Und das ist kurz vorm Abschluss. Morgen Nacht soll der letzte Trilog, also die letzte Verhandlungsrunde zwischen Rat, Parlament und Kommission stattfinden. Das Ding hat im Prinzip zwei Elemente. Ist natürlich viel komplizierter, aber hat im Prinzip zwei Elemente. Das eine ist Regeln für primäre Nutzung von Gesundheitsdaten und das andere ist für sekundäre Nutzung. Primäre Nutzung heißt, wenn mein Arzt meine Patientenakte Akte irgendwie lokal auf dem Rechner schon elektronisch vorhält, dann soll er oder sie die in der Regel auch vernetzt bereitstellen, damit wenn ich dann zu einem anderen Arzt gehe oder zu einer anderen Ärztin oder ins Krankenhaus oder so, die auch Zugriff auf die gesamte Akte haben und das eben besser nutzen können, um mich besser zu behandeln, weil die dann auch Vorerkrankungen und vorherige Behandlungen und sowas direkt sehen können. Macht irgendwie Sinn, das gibt es hier zum Beispiel in Belgien auch. Da Da sind viele Leute auch ganz glücklich drüber. Da kann man auch selber mit der App auf dem Smartphone irgendwie gucken, was ist eigentlich gerade in meiner Patientenakte so los? Dann kann ich die Sachen auch selber mal rauspulen und angucken und so. Da war lange der Streit, braucht es dazu ein Opt-in? Also müssen die Leute einwilligen, damit es elektronisch vernetzt verfügbar gemacht wird? Oder ist es generell bei Default so und man soll vielleicht nur widersprechen können? In Deutschland ist, glaube ich, aktuell der Stand, dass es immer noch ein Opt-in ist, aber das soll jetzt umgestellt werden auf Opt-out unter lauter Wacht, damit mehr Leute die elektronische Patientenakte nutzen. Und das Gesundheitswesen sozusagen effektiver ist. Das Ergebnis hier ist im Prinzip das gleiche. Es bleibt erstmal so vorgesehen, dass es per Default in eine vernetzte elektronische Gesundheitsakte kommt. Die Mitgliedstaaten können dann selber aber noch entscheiden, ob sie ein Opt-out ermöglichen wollen oder nicht. So, das ist eigentlich noch relativ unproblematisch. Da gab es dann so ein bisschen Missverständnisse in den Verhandlungen, weil die Leute, die Belgier hier von der Ratspräsidentschaft, haben erst gedacht, wenn man da widerspricht, heißt das, dass der Arzt gar nicht mehr meine Akten elektronisch führen kann, sondern wieder auf Papier zurück muss. Das war natürlich dann so, nee, Quatsch. Natürlich kann der Arzt seinen lokalen Rechner haben. Wir sind 2024 heutzutage. Nur die sollen nicht vernetzt sein. Wenn man als Patient vielleicht besondere Sicherheitsbedürfnisse hat, weil man auch mal eine psychologische Behandlung hatte oder andere Sachen oder eine Abtreibung oder so, will man einfach, dass das nur beim Arzt in der Praxis liegt und nicht vernetzt ist. Nicht irgendwie vielleicht auch sogar Angreifer da rangehen können oder so mit IT-Sicherheitslücken. Obwohl, die sind ja jetzt alle weg mit dem Cyber-Resilienz-Experiment.

Gott sei Dank.

So, das ist das erste, primäre Nutzung. Das zweite ist die sekundäre Nutzung und das ist für uns das Riesenproblem, weil es gibt eigentlich jetzt seit über 2400 Jahren den hypokratischen Eid, den Ärzte ablegen müssen und der beinhaltet unter anderem die ärztliche Schweigepflicht oder das Patientengeheimnis. Dass einfach das, was ich mit meinem Arzt bespreche, zwischen uns bleibt und ich darauf vertrauen kann. Was jetzt hier vorgesehen ist, ist, dass die Gesundheitsdaten, sofern sie vernetzt verfügbar sind, auch für andere Zwecke genutzt werden können. Das geht dann vor allem um Forschung. Natürlich Big Pharma hat da auch ein Rieseninteresse dran, aber auch öffentliches Gesundheitsmanagement, zum Beispiel in Zeiten von Pandemien, Infektionstracing, solche Geschichten, was ja teilweise die Gesundheitsämter auch heute schon machen. Es gibt ja Sachen, wo die ärztliche Schweigepflicht unterbunden wird durch Gesetz, bei meldepflichtigen Krankheiten und so, wie es zum Beispiel Corona auch war. Und da war jetzt aber die Riesenfrage bis zum Schluss oder ist immer noch, das Parlament wollte hier aber dann mindestens sagen, dann sollen die Leute aber zumindest ein Widerspruchsrecht haben. Dass ich sagen kann, meine Patientendaten sollen bitte für Forschung oder so nicht bereitgestellt werden. Die Mitgliedstaaten haben jetzt, die belgische Ratspräsidentschaft hat wirklich versucht, das irgendwie zu berücksichtigen. Das war für das Parlament sozusagen die eine große rote Linie die ganze Zeit. Wir haben ganz viele andere kleinere Sachen aufgegeben, um dieses Opt-out zu kriegen für sekundäre Nutzung. Aber die Mitgliedstaaten stellen sich jetzt auf stur und sagen, nö, wir wollen einfach alle Daten und man kann gerne ein Opt-out machen, aber dann gibt es für die Mitgliedstaaten dann das Recht, wieder das Opt-out zu überschreiben. Also das gilt dann einfach nicht. Und das sind dann auch für Zwecke, wo ich mich frage, braucht es dazu wirklich immer alle Daten? Unter anderem für öffentliche Institutionen, die ein Mandat im Bereich der öffentlichen Gesundheit haben oder sogar private Institutionen, die eine Aufgabe im Bereich der öffentlichen Gesundheit haben. Gut, da könnte man vielleicht noch drüber streiten, ob man das ein bisschen enger fasst und dann ist es vielleicht noch akzeptabel. Der Parlamentsvorschlag war jetzt, dass man das nur in Situationen von öffentlicher medizinischer Notlage oder Notlage der öffentlichen Gesundheit machen kann. So eine ähnliche Regelung haben wir schon im Data Act zum Beispiel. Dann wollen sie aber auch noch alle möglichen Research, medizinische Produktentwicklung medizinische Geräteentwicklung also die haben sie bisher auch so entwickeln können ohne dass man von allen Patienten die Daten abgegriffen hat und das letzte ist auch Statistiken. Nationale, multinationale und EU-Level offizielle Statistiken ich meine Statistiker können seit über 100 Jahren mit unvollständigen Datensätzen umgehen, das ist deren Job da dann irgendwie die Bias so rauszurechnen, Ja, so sieht es aus. Das ist das letzte Angebot, was die Kommission jetzt auf den Tisch vorgelegt hat als Quote-Unquote-Kompromiss. Das geht morgen Abend in den letzten Trilog. Heute war nochmal ein Treffen der Schattenberichterstatter vom Parlament von den verschiedenen Fraktionen. Und es sieht so aus, dass die Mehrheit, zumindest eine Mehrheit aus EVP, EKR, also die europakritischeren Konservativen und Sozialdemokraten, das so akzeptieren will. Und im Prinzip alles aufgibt, was wir die ganze Zeit gesagt haben. Hier, wir geben euch die ganzen anderen Sachen nur, wenn wir dieses eine Opt-out kriegen, aber dann auch richtig. Und am Ende werden wohl nur die Grünen und die Linken dagegen stimmen. ID ist noch ein bisschen unklar. Die würden normalerweise als gute Populisten auch irgendwie auf den Zug aufspringen und sagen, da sind wir dagegen. Wir verkaufen nicht unsere Gesundheitsdaten an Big Pharma. Aber die haben zufälligerweise die Berichterstatterin, Liebe Ausschuss, weil das sonst niemand wollte. Und das ist per Dehont bei denen gelandet. Und da sehe ich jetzt nicht, dass die da großen Rückzieher macht, wenn sie selber Co-Berichterstatterin ist. ist. Aber verhandelt wurde es im Prinzip alles von dem EVP Berichterstatter im Umwelt- und Gesundheitsausschuss. Ja, das ist das. Morgen Abend geht das den Bach runter.

Ja, noch nicht. Also gibt man einen Brief, aber ich wiederhole jetzt nochmal oder fasse zusammen. Also wir haben ein EU-Gesetz, das die Digitalisierung von allen Patientinnenakten und wahrscheinlich auch sonstigen. Gesundheitsbezogenen Daten aus dem in Krankenhäusern, Arztpraxen und sonstigen Einrichtungen miteinander vernetzt. Opt-out oder Opt-in kann es geben, wenn der Mitgliedstaat das vorsieht für diese Primärnutzung. Aber bei der Sekundärnutzung, die eigentlich ja die kritischere ist, weil da geht es nicht nur um das Gesundheitssystem, sondern da geht es um Forschung. Und das heißt auch pharmakologische Forschung. Das heißt auch, dass hier ganz viele andere Interessenträger auf einmal Zugriff auf sehr sensible Daten bekommen. Wir haben auch schon mehrmals diskutiert, dass solche Gesundheitsdaten sehr schwer bis gar nicht zu anonymisieren sind, weil das ist einfach sehr einzigartig bei Menschen. Wenn ich als Arbeitgeber weiß, wenn du im Krankenstand bist, wenn du geimpft wurdest oder du das auf Social Media postest, finde ich dich wieder in diesen Datensets. Es gibt dazu auch eine Klage meines Wissens von der GFF, die da auch in Deutschland höchstgerichtlich dagegen vorgehen, gegen diese Sekundärnutzung anhand von einem Menschen, der halt sehr einzigartige Blutwerte oder sonstige Werte hat und da auch sehr leicht zu reidentifizieren ist. Das halte ich für eine ganz große Gefahr. Das ist vielleicht auch nochmal zu sagen, das hier ist so eine sogenannte Lex Spezialis zur DSGVO, oder? Das etabliert eine Ausnahme von unserem Grundrecht auf Datenschutz für diesen eigenen Bereich hier. Und ich meine... Also morgen wird das sozusagen, kannst du da vielleicht auch mal aus dem Nähkästchen plaudern, wie läuft denn sowas ab, so eine Trilog-Sitzung, also wie viele Leute sind da im Raum, wie lange wird da verhandelt, was erwartet dich da morgen?

Morgen könnte es relativ schnell gehen. Also der letzte Trilog letzten Donnerstagabend, der hat um 18 Uhr angefangen, war ungefähr morgens um fünf zu Ende ohne Ergebnis, weil das Parlament da noch die Linie gehalten hat. Und jetzt haben aber alle Fraktionen intern nochmal geguckt, sind wir noch ein bisschen flexibler oder so. Die Mitgliedstaaten dagegen haben nicht geguckt. Es gab heute noch mal Sitzung der Botschafter. Da war das Thema gar nicht auf der Tagesordnung. Also die Belgier haben gar nicht erst versucht, noch mehr Flexibilität für sich selber zu kriegen, sondern haben nur gesagt, hier, liebes Parlament, wenn ihr noch mal flexibler werdet, dann können wir es nächste Woche noch mal versuchen. Weil morgen ist sozusagen die letzte Deadline, um vor der Europawahl noch ein Gesetz abzuschließen. Weil das dann alles noch irgendwie sprachlich aufgeräumt werden und noch abgestimmt werden muss und so weiter. Also morgen kann es relativ schnell gehen. Da sitzt dann normalerweise der belgische Minister, Gesundheitsminister, die Berichterstatter vom Parlament, vielleicht noch ein Vorsitzender oder Vize-Vorsitzender vom Umweltausschuss. Der Vorsitzende vom Innenausschuss kommt zu solchen Verhandlungen nie, obwohl das könnte. Das ist aber ganz gut so, weil der ist immer so ein bisschen verwirrt. Der könnte da nur Unsinn reinbringen. Und dann sitzen da halt noch die Kommission, das ist dann wahrscheinlich die Kommissarin, Kiria Kiedis, die Gesundheitskommissarin, und alle Fraktionen, manche mit Abgeordneten richtig vertreten, viele aber, weil jetzt gerade Straßburg-Woche war und die schon längst ihre Flüge nach Hause gebucht hatten in die ganzen Mitgliedstaaten und so, die werden jetzt nicht morgen alle nach Brüssel fahren. Also von uns wird auch keiner dabei sein, weil die alle Verpflichtungen schon woanders hatten. Aber dann sitze halt ich da mit meiner Kollegin aus dem Umwelt- und Gesundheitsausschuss, unserem digitalen Koordinator, der Nachfolger von Arneka an dem Job, Francesco, noch ein paar Abgeordneten, Mitarbeitende. Juristische Dienste sind da immer vertreten, oft auch die Sprachjuristen. Das sind dann so... 20 bis 30 Leute vielleicht in so einem Setting. Und reden tun aber eigentlich nur der Rapporteur, also der Berichterstatter, in diesem Fall eigentlich in der Regel der ENVI, also Gesundheits- und Umweltausschuss-Rapporteur von den Konservativen, der belgische Minister und die Kommissarin. darin. Und dann gibt es manchmal so Punkte, wo man dann sagt, okay, das Parlament muss sich mal kurz zurückziehen, dann gibt es nebenan irgendeinen sogenannten Breakout-Room, wo dann sogar so ein Patrick Breyer zum Beispiel, der das für uns auf der Datenschutzseite macht, sich online dazuschalten kann und dann wird halt intern in einer Parlamentsdelegation beraten, okay, Leute, wir haben jetzt hier ein neues Angebot von den Belgiern, können wir das irgendwie mittragen oder ist das immer noch nicht gut genug, können wir einen Gegenvorschlag machen oder so. Und dann müssen halt sozusagen die Fraktionen der Reihe nach sagen, wie weit sie gehen können. Und dann muss der Berichterstatter gucken, wie er damit umgeht, ob er jetzt eine Mehrheit findet für den Kompromiss oder nicht. Manchmal gibt es auch Situationen, wo der Berichterstatter einfach sagt, ich habe jetzt hier keine klare Mehrheit, ich lasse es einfach darauf ankommen. Wir nehmen das Ding jetzt mal so an und gehen damit in die Ausschüsse und dann ins Plenum und gucken, ob wir eine Mehrheit kriegen. Das ist aber eher selten. Das kann aber teilweise bei komplexeren Gesetzen, hier sind jetzt noch ein paar Fragen offen, unter anderem auch die Frage der Lokalisierung, weil das EP die Daten in Europa speichern wollte und nicht irgendwo auswärts. Und der Rat sagt aber, nee, nach DSPVO kann man die doch auch in den USA transferieren, weil da gibt es ja eine Angemessenheitsentscheidung und so. Also das sind aber nur vier, fünf Punkte, die noch offen sind. Die kann man morgen relativ schnell abkaspern, weil eigentlich fast alle außer uns und den Linken schon angedeutet haben heute Morgen, dass sie da mitgehen können. Es gibt auch andere Beispiele. Da können wir vielleicht gleich zum AI-Act noch was zu erzählen, weil da haben wir, glaube ich, den bisher längsten Trilog gehabt. Der hat insgesamt 39 Stunden gedauert.

Darauf kommen wir gleich. Aber ich will nur kurz innehalten, dass das so kurz vor einer Europawahl ziemlicher Wahnsinn ist, als hier eine Massenenteilung von Gesundheitsdaten irgendwie auf den Weg zu bringen. Also eigentlich müsste das doch morgen scheitern. Und wenn es das nicht im Trilog tut, dann hätte man nur noch die Chance, das im Plenum in zweiter Lesung zu verhindern, oder?

In erster Lesung. Wir sind noch im First Reading Procedure. Es geht dann also jetzt Ende April ins Plenum, ja. Das letzte Plenum vor der Europawahl. Da könnte man noch einen Antrag stellen, das muss man gar nicht, man kann auch dagegen stimmen. Und wenn eine Mehrheit der Abgeordneten dagegen stimmt, dann ist es tot, klar. Aber das sehe ich einfach nicht. Aber macht gerne Kampagne. Wir sind dabei.

Vielleicht hilft ja die German Vote am Ende.

Nee, in dem Fall hat Deutschland damit kein Problem.

Okay.

Das war eher so, dass man irgendwie dann aus Verhandlerkreisen im Rat hört, dass die deutschen Vertreter oder Vertreterinnen einer Ratsarbeitsgruppe, das ist ja SPD, Lauterbach, Gesundheitsminister, dass die sich dann abschätzig über den Bundesdatenschutzbeauftragten Ulrich Kelber äußern, der auch SPD-Mitglied ist, weil die sich anscheinend mit dem inzwischen so überworfen haben, dass sie über ihn nur noch schlecht reden können. Also unsäglich. Vielleicht noch kurz eine Klarstellung, damit das nicht in den falschen Hals kommt. Es ist schon so, das muss man auch anerkennen, dass die Daten, wenn sie für sekundäre Nutzung freigegeben werden, da muss erst ein Antrag gestellt werden und die sogenannten Health Data Access Bodies, also in der Regel irgendwelche Abteilungen im Gesundheitsministerium oder so, müssen das dann genehmigen. Die Daten werden dann nicht einfach an Big Pharma übermittelt, so als riesengroßer Patentendatensatz, sondern die werden nur von dem Health Data Access Body in einem sicheren Processing, in einer sicheren, Datenverarbeitungsumgebung, Secure Processing Environment, bereitgestellt und da muss sozusagen dann der Antragsteller kommen und seinen Algorithmus zu den Daten bringen. Der kriegt aber die Daten nicht mit nach Hause geliefert. Also die Daten gehen sozusagen nicht raus, Aber es sind natürlich trotzdem meine Daten und ich als Patient will selber entscheiden können, ob die irgendjemand für Forschungszwecke oder so verarbeiten kann, egal wo und unter welchen Umständen.

Alright. Gut, dann schlage ich mal vor, schlage mal hier das Buch erstmal zu, zu dem Thema und kommen auf unseren Kernthema, der AI-Act. Perfekt. Und Annika, da bist du ja sehr engagiert gewesen, wenn ich das richtig verstanden habe. Kannst du vielleicht mal anfangen und nochmal kurz erläutern, was so die Genese dieses Acts war? Also was genau ist hier der Trigger gewesen, damit es überhaupt dazu kam? Und was sind sozusagen die politischen Zielsetzungen, die sich hier letzten Endes Bahn gebrochen haben?

Also vielleicht mag Ralf die Genese kurz machen, weil ich möchte nicht über eine Zeit reden, wo ich noch nicht da war und Ralf war schon dabei. Deswegen kann Ralf vielleicht kurz die Genese machen und ich kann das Gesetz kurz erklären dann und was alles dann während der Verhandlungen passiert ist.

Das fing schon vor ein paar Jahren an, ich glaube nach einer letzten Legislatur sogar, da gab es einen Initiativbericht im Rechtsausschuss von Mehdi Delvaux aus Irland, der hieß zu Robotics and Civil Liability. Da wurde unter anderem diskutiert, ob wenn ein Roboter oder eine KI selbstständig Entscheidungen trifft, ob die dann nicht auch selber wie eine Art juristische Person werden sollte, die dann auch Verantwortlichkeit dafür kriegt und sowas. Wo dann zum Glück am Ende der Diskussion rauskam, nein, ganz klar, die Verantwortung liegt immer bei einem Menschen. Eine KI kann nicht für irgendwas verantwortlich gemacht werden. Die kann ja auch nicht in den Knast gehen oder so. Jemand würde das nichts ausmachen. Aber die hatte einen ganz schönen Einstieg damals in ihren Erwägungsgründen. Da stand dann unter anderem drin, dass vom klassischen Pygmalion-Mythos der Antike über Frankensteins Monster von Mary Shelley und der Prager Golem-Legende bis zum Roboter von Karel Čapek, der dieses Wort geprägt hat, Menschen über die Möglichkeit fantasiert haben, intelligente Maschinen zu bauen. In den meisten Fällen Androiden mit menschlichen Zügen. Fand ich mal einen schönen Einstieg in so einen Initiativbericht, so ein bisschen poetischer als normal. So, und dann ging so ein bisschen hier überall, das hieß damals teilweise noch Big Data, wurde überall darüber diskutiert, dass man jetzt Möglichkeiten hat, mit den großen Datenmengen auch viele Maschinen zu trainieren und damit lustige Sachen zu machen. Und dann hat die Kommission, die hatte vorher noch so eine High-Level-Expert-Group eingerichtet und so weiter, dann hat die Kommission angekündigt, sie werden ein Gesetz vorlegen zum Thema KI-Regulierung, das erste weltweit. Und dann wurde hier plötzlich hektische Betriebsamkeit ausgelöst. Da haben, glaube ich, in sieben Ausschüssen wurden dann Initiativberichte gemacht, also von Grundrechteaspekten über Bildung bis hin zu Sicherheit und Verteidigung und so, wo überall KI vielleicht eine Rolle spielen könnte und was man da machen sollte. Und parallel gab es noch einen Sonderausschuss zum Thema KI, wo Axel Voss von der CDU Berichterstatter war. Auch ein bisschen bescheuerte Doppelarbeit. Da macht man sieben Initiativberichte parallel und noch einen Sonderausschuss parallel. Aber irgendwie wollte die Mehrheit im Haus das so. Und Axel Voss hat dann in seinem Berichtsentwurf versucht, so ein bisschen auch Mady Delvaux mit ihrem Roboterbericht zu imitieren, in dem auch ein bisschen poetisch wurde. Aber der hat dann einfach nur Unsinn reingeschrieben. Da stand dann zum Beispiel drin, dass KI das fünfte Element sein wird, neben Erde, Wind, Feuer und Wasser, was uns immer umgeben wird und so.

Schon fast homöopathisch, okay. Okay.

Also, naja, und dann kam der Kommissionsvorschlag für das Gesetz, das war etwa vor drei Jahren, ne? Annika, ich weiß gerade gar nicht mehr.

Ja, vor drei Jahren im April 2021. Genau.

Dann kam der Vorschlag und dann hat relativ schnell der Justizausschuss Axel Voss zum Berichterstatter gemacht für die Gesetzgebung. Und dann haben aber alle anderen Fraktionen sich plötzlich zusammengetan und haben eine neue Fraktion gegründet, die sogenannte ABV Group, Anybody But Voss. Es wollte einfach niemand außer Axel Voss selber, dass er der fehlerführende Berichterstatter im fehlerführenden Ausschuss wird. Deswegen war klar, der Rechtsausschuss ist schon mal raus. Und dann wurde ziemlich lange hin und her verhandelt. Und am Ende, so wirklich am letzten Tag der Deadline, glaube ich, kam dann in der Konferenz der Fraktionsvorsitzenden ein Vorschlag von den Sozialdemokraten, dass doch ein gemeinsames Verfahren werden sollte zwischen dem Ausschuss für bürgerliche Freiheiten, Justiz und Inneres, weil der für die Grundrechte zuständig ist, und dem Binnenmarktausschuss, weil die Kommission dieses KI-Gesetz auch in Form von so einem, auf den Markt bringen Gesetz, was für Regeln muss ich einhalten, wenn ich KI auf den Markt bringen will, vorgeschlagen hat. Und das waren dann am Ende federführende Berichterstatter, Sozialdemokraten im Binnenmarktausschuss und Liberale im Grundrechte- und Innenausschuss. So kam das.

Das ist also alles sozusagen auch von dieser europäischen Sicht des Maschinenmenschen, so Frankenstein und so weiter. Wir haben ja im Westen eine sehr negativ konnotierte Sicht auf diese ganze… Hast du recht, ne? Naja gut, ich meine, gehen wir mal nach Japan, da ist einfach eine ganz andere Grundhaltung dazu. Da hast du sozusagen so die Maschine, der Freund des Menschen und wann auch immer Robotik in Japan ein Thema ist, dann geht es immer sofort um Assistenzsysteme, helfen, Pflege und so weiter. Das ist so das, was da immer im Vordergrund steht und es hat natürlich auch viel mit so einer kulturellen Prägung zu tun, die hier definitiv ein bisschen dystopischer ausfällt als jetzt in anderen Kulturen.

Ja, aber es passt auch, glaube ich, ganz gut in die Linie der ganzen europäischen Digitalgesetzgebung der letzten fast zehn Jahre jetzt, was sozusagen mit der Datenschutzgrundverordnung ja angefangen hat und dann mit dem Digitalen Dienste Gesetz, Digitale Märkte Gesetz, Data Act, Data Governance Act und so weiter, oder jetzt hier Cyber Resilience Act, dass man einfach nach und nach jetzt besser verstanden hat, was sind denn wirklich die echten Risiken und Gefahren bei den ganzen neuen Technologien, vor allem, wenn die in der Masse ausgerollt werden und jetzt versucht, langsam mal die Sachen wieder einzufangen.

Das ist aber ein guter Punkt, weil während wir bei den anderen Sachen ja schon das auch alles sehr lange beobachten oder jetzt verhältnismäßig lange, ja, also das Internet und so Computer etc., das ganze Digitalwesen begleitet uns ja jetzt, sagen wir mal, die europäische Gesellschaft vielleicht aktiv seit Mitte der 90er Jahre so wirklich, würde ich mal sagen, ungefähr. ungefähr. Und jetzt haben wir natürlich auch schon eine gewisse Zeit gehabt. Während jetzt dieses AI-Thema ist ja relativ frisch. Also im Vergleich zu den anderen Themen habe ich so den Eindruck, wird das relativ früh aufge... Also das wird nicht mal ein relativ schneller Vorstoß. Sonst sagt man immer, ja, die Politik reagiert ja nicht und jetzt ist das für uns schon alles so die Realität und die Politik kommt nicht mit. Und jetzt habe ich so fast so den Eindruck, jetzt schlägt es komplett um und jetzt wird AI zu einem Zeitpunkt reguliert, wo glaube ich noch nicht mal eine wirklich klare Vorstellung davon existiert, was es jetzt eigentlich genau ist oder macht oder was jetzt wirklich die realen Bedrohungen und Chancen und Risiken sind, um in dieser klassischen Abwägungsgeschichte zu bleiben.

Ja, da hast du sicher recht.

Ja, und das war, glaube ich, auch sehr bewusst so gemacht, weil eben auch auf die konstante Kritik irgendwie reagiert wurde, dass wir immer so spät dran wären. Also gerade bei dem Digitalen Dienstegesetz war es ja auch so, dass es hieß, ja, also wir haben so verschiedenste Probleme, gerade mit den großen Plattformen. Und warum braucht da die EU so lange? Und das war dann schon irgendwie so ein selbsterklärtes Ziel, auch von von der Leyen da wirklich irgendwie fortzubreschen und irgendwie mit diesem Brussels-Effekt quasi zu reiten und da für KI was vorzulegen. Wobei ich finde allein der Name AI Act, und es wurde auch viel kritisiert, nicht ganz unproblematisch ist, weil es ja eigentlich auch um automated decision making geht, beziehungsweise, ja, dass auch nicht ganz klar war, ob dann automated decision making auch in dem Begriff Artificial Intelligence fällt oder nicht. Aber AI Act klingt halt besser als automated decision making law. Also das war auch ein bisschen ein PR.

Ja, guter Punkt. Genau. Und das ist ja dann wiederum etwas, was schon länger diskutiert wird. Man sieht das ja hier auch so Algorithm Watch und ähnliche Gruppen haben sich ja da auch schon lange mit dieser Problematik beschäftigt. Also wer fällt die Entscheidung und damit natürlich auch verbunden, wer ist am Ende haftbar für falsch getroffene Entscheidungen und das hinterfragt halt sowohl einfache Algorithmen, die nun durch AI gleich nochmal ein Level weniger nachvollziehbar werden potenziell.

Genau. Und es ist jetzt so, um kurz das Gesetz zu erklären, also ich würde sagen, es ist jetzt im Vergleich zu den anderen Gesetzen vielleicht etwas innovationsfreundlicher gedacht worden, in dem Sinne, dass in dem Gesetz eben auch diese, zum Beispiel diese innovativen, ich weiß gar nicht den Begriff, aber Sandboxes heißt es auf Englisch, Sandkisten.

Reallabore heißen die auf Deutsch.

Noch nachgeschöpft werden muss. Also es gab quasi ein eigenes Kapitel für Measures for Innovation, um eben auch die quasi so ein bisschen industriepolitisch auch zu mehr KI-Systeme in Europa zu generieren. Weil im Vergleich dazu zum Beispiel die Systeme, die verboten werden, im Kommissionsvorschlag ja eigentlich sehr dünn waren. Also es gab ein Verbot für biometrische Massenüberwachung in Echtzeit, aber dann auch wieder mit ziemlich großen Ausnahmen. Unter anderem, wenn man zum Beispiel Missing Children, also Kinder sucht. Es gab ein Verbot für Social Scoring, das aber so limitiert geschrieben war, dass es eigentlich wirklich nicht wirklich was anwendbar gewesen wäre. Wäre, klingt aber gut, wenn man eine PR-Mitteilung dazu macht. Und dann das, was die KI-Provider, also die Hersteller, danke. Es ist wirklich manchmal schwierig, wenn man immer in Englisch arbeitet und dann versucht, alles auf Deutsch zu übersetzen. Genau, also dass die Hersteller einfach eigentlich nur dann etwas zu erfüllen hatten, wenn sie als Hochrisiko eingestuft wurden. Das heißt, es gab zwar diese Pyramide, die vielleicht auch einige schon gesehen haben, quasi welche Bereiche das KI-Gesetz quasi umfasst. Und oben auf der Pyramide sind die verbotenen KI-Systeme, was ja eigentlich de facto so gut wie nichts ist. Dann gibt es quasi einen mittleren Bereich mit Hochrisiko, wo dann alles, was quasi zu erfüllen ist im KI-Gesetz, quasi nur in diesem Bereich fällt und alle Regelungen quasi nur in dem Bereich zu erfüllen sind. Und dann gibt es noch einen untersten Bereich, das ist Low-Risk oder Minimum-Risk, also quasi die wenigst Risiko-KI-Systeme, die ein paar Transparenzpflichten erfüllen mussten. Das heißt, diese Pyramide, die die Kommission da quasi auch vorgestellt hat, ist eigentlich recht verwirrend, weil letztlich ist es ein Gesetz für ein paar Pseudoverbotene KI-Systeme gewesen und das, was sie als Hochrisiko begriffen haben. Und der Begriff Hochrisiko ist ja auch eigentlich recht problematisch, weil da will ja auch kein Hersteller eigentlich reinfallen. Also kein Hersteller, der sein KI-System irgendwie schon verkaufen will, außer es ist wirklich für einen Bereich, der hochproblematisch ist, möchte wirklich in den Hochrisikobereich fallen. Und das ist, glaube ich, auch ein Begriff, der uns negativ durch die ganzen Verhandlungen verfolgt hat. Genau, nur um das fertig zu erklären, was Hochrisiko ist und was nicht, ist in dem sogenannten Annex Free, wenn ich das richtig im Kopf habe, festgeschrieben, das sind quasi verschiedene Bereiche, die von Bildung bis Migration, Arbeitsverhältnisse gehen, wo verschiedene Kaisersysteme, Strafverfolgung genau, reingegeben wurden, die potenziell in diesen Hochrisikobereich fallen könnten. Und genau, also das ist so mal ein bisschen die Logik und auch nochmal darauf zurückzukommen, was Ralf vorhin gesagt hat, es ist eben in diesem Produktsicherheitsgesetzesrahmen eingebettet worden. Das heißt, KI wird als Produkt begriffen, was auch schon nicht ganz unproblematisch ist. Und das wurde auch, also man munkelt, dass es auch deswegen gemacht wurde, damit das Gesetz eben nicht nur im Justizausschuss landet, sondern eben auch im Binnenmarktausschuss, wo ja alles, was Produktsicherheit betrifft, behandelt wird. Also das ist auch schon bewusst von der Kommission so gewählt worden, nicht unbedingt, weil sie KI unbedingt als Produkte sehen wollten, sondern auch, weil man dann vielleicht, und das sieht man auch bei anderen Gesetzen, schon beeinflussen will, in welchem Ausschuss das Gesetz landet, was dann ja auch wiederum Einfluss darauf hat, wie die Parlamentsposition aussehen wird. Also wenn es nur im Liebe landet, dann wird die Parlamentsposition relativ hohe Wahrscheinlichkeit progressiver ausfallen, als wenn es nur im Idre landet, was der Industrie- und Wissenschaftsausschuss ist, der traditionell immer recht konservativ, liberal und wirtschaftsfreundlich ist.

Ich habe nochmal eine Nachfrage. Nur mal zu diesem Begriff Hochrisiko. Risiko in Bezug auf wen oder was? Also wie ist dieser Begriff gedacht? Für wen soll was wie ein Risiko sein, damit das da reinfällt?

Also es ist zum einen der Bereich, in dem es verwendet wird, also zum Beispiel Immigration und zum anderen auch quasi, welchen Impact es haben kann, also welche Einflüsse es quasi auf Menschen haben kann. Also zum Beispiel eben im schulischen Bereich, dass wenn die Systeme quasi nicht gut getestet sind oder starken Bias haben oder Cybersecurity-Probleme haben, dass sie dann ein höheres Risiko quasi darstellen oder potenziell mehr Schaden anrichten könnten als ein Chatbot zum Beispiel. Wobei ich argumentieren würde, dass auch Chatbots Schäden anrichten können.

Also Risiko im Sinne von Gefährdung für Menschen.

Also ich erinnere mich noch irgendwie, wenn man so Lobbyisten zugehört hat, bevor das Gesetz vorgestellt wurde, hatten die auch schon diese Idee der Pyramide und die haben halt so plakativ gemeint, ganz oben ist automatisierte Tötung, wenn die Drohne dich umbringt oder dass ein Mensch noch irgendwas dafür tun muss und ganz unten ist der Algorithmus, der Schrauben sortiert, der gar nicht reguliert wird und dazwischen überlegen wir uns dann irgendwas. Aber das ist halt in der Praxis dann umzusetzen super schwierig, weil auch so Dinge, wo sich die Zivilgesellschaft massiv dafür eingesetzt hat, wie zum Beispiel das Verbot von Gesichtserkennung, Biometrie oder auch, es gibt ja inzwischen so Wahrheitsdetektoren oder Emotionserkennung, wo es sehr zweifelhaft ist, ob das technisch überhaupt funktioniert, was da als Produkt angeboten wird. Und da glaube ich, kommen wir dann auch gleich darauf zu, was denn jetzt wirklich in diesem Gesetz drinnen steht. Und du hast ja auch schon Migration angesprochen. Wir haben in vielen EU-Ländern auch gerade bei arbeitslosen oder arbeitssuchenden Menschen den Einsatz von Algorithmen, wurde teils auch schon von Höchstgerichten verboten. Also da gibt es ja wirklich schon viele Fälle, die nach Regulierung schreien. Was wird jetzt besser mit diesem Gesetz?

Vielleicht noch ganz kurz zu Tim, zu der Frage nach dem Risiko. Also zum Beispiel im Artikel zur Definition, da steht unter systemisches Risiko, dass ein KI dann ein systemisches Risiko hat, wenn sie einen signifikanten Impact, Auswirkungen auf den ganzen Unionsmarkt hat durch ihre Reichweite oder durch vernünftigerweise vorhersehbare negative Effekte auf öffentliche Gesundheit, Sicherheit. Also nicht im Sinne von sozusagen innere Sicherheit, sondern Produktsicherheit, Safety, nicht Security, Public Security, also öffentliche Sicherheit, Grundrechte oder die Gesellschaft als Ganze. Aber das ist natürlich dann auch eine intellektuelle Herausforderung. Damit haben wir auch eine Weile lang gerungen am Anfang, weil dann sagt der Artikel 6 zu den Hochrisiko-KI, die Kommission ist ermächtigt, mit einem delegierten Rechtsakt weitere KI-Systeme oder Anwendungsfälle in den Annex 3 hinzuzufügen, mit den Hochrisiko-KIs, wenn diese neuen KI-Systeme oder Anwendungsfälle ein gleich hohes oder höheres Risiko haben, als die, die schon im Annex 3 drinstehen. Ja, wie misst man das? Wie viel ist 1,50 m KI-Risiko? Das kannst du eigentlich nicht schwer vergleichen. Das ist immer von Anwendungsdomäne zu Anwendungsdomäne. Haben wir echt eine Weile hin und her überlegt und dann am Ende aber gemerkt, das ist eine politische Entscheidung jedes Mal.

Ja, um jetzt auf die Frage zurückzukommen, was ändert sich quasi oder was wird jetzt besser? Also es ist quasi schon so, dass wir natürlich im Vergleich zur Parlamentsposition, die in vielen Fällen besser ist, als das, was dann beim Trilog rauskommt, natürlich nicht alles drin haben, was wir als Parlament angesehen haben als problematisch und zu verbietende KI und als Hochrisiko-KI. Also nur, weil du vorher noch angesprochen hattest, Emotionserkennung, Massenüberwachung mit Biometrie, die Polygraphen, das waren alles Punkte, die wir in unserer Parlamentsposition komplett verbannt hätten, also quasi verboten hätten. Und von denen wir nicht alle, aber einige in gewissen Bereichen geschafft haben, zu verbieten. Das eine ist eben die Emotionskennung, also quasi die basiert darauf, dass man denkt, dass wenn eine Person lacht, dass man davon ableiten kann, dass die Person quasi glücklich ist. Und es ist mittlerweile eindeutig bewiesen, dass das nicht funktioniert und dass es auch gegen Menschen, die zum Beispiel neuroatypisch sind, glaube ich ist das richtige Wort. Einfach auch falsch Emotionen erkennt und dass Emotionen einfach sich nicht leicht so ableiten lassen. Deswegen hat zum Beispiel auch Microsoft Emotionserkennung komplett aus dem Sortiment sozusagen genommen. Also die entwickeln in dem Bereich auch nicht mehr, weil sie erkannt haben, dass es Pseudowissenschaft ist. Wir haben es zwar nicht ganz durchbekommen, aber wir haben zumindest im Bereich am Arbeitsplatz und im schulischen Bereich Emotionserkennung komplett verboten. Was ein großer Gewinn für uns vor allem als Grüne war, wo man aber Emotionserkennung zum Beispiel noch verwenden darf. Und um ein Beispiel zu nennen, ist eben im Migrationsbereich, also zum Beispiel an Grenzen, was weiterhin hochproblematisch ist, weil die Probleme bestehen ja weiterhin. Es ist zwar Hochrisiko, aber Hochrisiko heißt halt, du musst einige weitere Regeln erfüllen. Das heißt, die KI muss Cybersecurity Standards erfüllen, es müssen gewisse Dokumentationen gemacht werden und jetzt in dem spezifischen Fall ist wahrscheinlich auch eine Grundrechteabschätzung notwendig, also das sogenannte Fundamental Rights Impact Assessment. Das war auch ein großer Gewinn für unsere Fraktion, das mit reinzukriegen. Dass eben nicht nur der Hersteller, sondern auch der Benutzer, also der, der das System quasi kauft, sondern wirklich anwendet, sich auch anschauen muss, was macht die KI eigentlich mit den Personen, auf denen ich das anwende. Das ist ein bisschen eine Weiterleitung von dem, was schon in den Datenschutzfolgeabschätzungen gemacht wird, aber eben speziell auf KI umgemünzt. Und das war für uns insofern ein großer Erfolg, weil das bedeutet, dass eben nicht nur der Hersteller, der spezifisch und kontextbasierte Anwendungen überhaupt nicht abschätzen kann, dass sich wirklich der Benutzer hinsetzen muss und sich mit der KI auseinandersetzen muss. Und ich glaube, dass es auch eben daraufhin, wie wir KI verstehen und wie wir generell, wie viel Bedeutung und können wir KI zumessen, sehr wichtig ist. Weil wenn das zum Beispiel von Schulen verwendet wird oder auch von Behörden, die vielleicht einen Datenschutzbeauftragten haben und dann das jemandem geben und sagen, sagen, ja, verwende das halt, um zum Beispiel Schülern zu helfen, in welche Fächer oder in welche Berufe sie sich dann einordnen. Dass es nicht einfach so angewendet wird, sondern die Personen wirklich wissen, okay, welche möglichen Folgen könnte das haben, wenn wir das jetzt mit unseren Schülern gemeinsam verwenden. Und ich glaube schon, dass das auch im Laufe der Zeit auch wirklich dazu führen wird, dass Menschen einfach besser verstehen, wie KI funktioniert und wo auch die Limits von KI sind, was letztlich auch eine Möglichkeit ist, rechtliche Folgen abzuschätzen. So haben wir es auch mal ein bisschen versucht zu verkaufen, das natürlich auch für Unternehmen, das relevant ist, abzuschätzen, wo sind die rechtlichen Folgen, die ich möglicherweise habe, wenn ich KI verwende, die nicht so gescheit ist, wie ich eigentlich glaube, dass sie ist.

Also eigentlich so wie bei der Datenschutzgrundverordnung, ein neuer Text, den ich abnicken muss, wo theoretisch drinnen steht, was mit meinen Daten passiert oder was da im Hintergrund eigentlich abläuft. Also es muss erklärt werden für die NutzerInnen, was jetzt in diesem System drin ist.

Ja, und der Benutzer muss sich halt auch wirklich damit auseinandersetzen, welche Personen eigentlich mit der KI interagieren oder auf welche Personen die KI angewendet wird und ob das zum Beispiel jetzt Personen mit dunkler Hautfarbe sind oder Personen, die eine Disability haben. Genau. Und der Unterschied zur datenschutzrechtlichen Folgenabschätzung ist, dass es manchmal Fälle gibt, wo es quasi einen grundrechtlichen Impact haben könnte, wo aber keine persönlichen Daten angewendet werden. Also zum Beispiel, wenn man Migrationsflüsse versucht nachzuvollziehen und daraus die KI irgendwelche Entscheidungen treffen lässt. Und gerade in diesen Bereichen, diese Randbereiche sind, die eben nicht von der DSGVO abgedeckt sind, ist das auch besonders wichtig.

Also auch sowas wie Predictive Policing, also dass die Polizei mit Algorithmen versucht, vorherzusehen, welche Verbrechen in welcher Region wann passieren, was ja auch ein bisschen so Pseudoscience ist.

Also das vielleicht ganz kurz, Predictive Policing, was sich nur auf bestimmte Nachbarschaften bezieht oder sowas, das wäre noch erlaubt, würde aber unter Hochrisiko fallen, müsste also eine Grundrechtefolgenabschätzung machen und alles mögliche. Aber Predictive Policing über Individuen, dass die KM ja ausrechnet, wie wahrscheinlich ist es, dass Thomas Lohninger in den nächsten zwei Monaten eine Straftat begeht, das ist verboten. Und was wir zum Beispiel auch noch verboten haben, ist das, auf Englisch heißt das Facial Image Scraping, dass ich massenhaft Gesichtsbilder aus dem Internet mir zusammenwühle und daraus dann eine große Datenbank mache. Also Clearview AI oder PIM-Eyes ist jetzt verboten.

Und diese Grundrechtsabschätzungen, sind die öffentlich einsehbar? Kann ich die als User sehen?

Die sind in der Datenbank, oder?

Ich glaube, dass die in der Datenbank gegeben werden müssen. Es ist quasi eine neue EU-Datenbank geschaffen worden, wo dann diese Folgerechtsabschätzungen hochgeladen werden müssen, um eben mehr Transparenz zu ermöglichen. Das war zum Beispiel auch etwas, was nicht im Kommissionsvorschlag drinnen war und was uns auch sehr wichtig war, da einfach mehr Transparenz zu schaffen, wer das verwendet und ja, auch, dass eben diese Abschätzungen dann öffentlich sind Das war das.

Was die Niederländer schon machen oder Amsterdam oder so. Die haben das schon in Betrieb, eine öffentliche Datenbank, wo man sowas genau nachgucken kann. Davon haben wir uns inspirieren lassen.

Sowohl die Datenbank als auch die Grundrechtefolgenabschätzung kommen beide aus den Niederlanden, die Idee.

Es gibt auch unheimlich viele zivilgesellschaftliche Projekte, die einfach so mappen, welche Anwendungen von KI gibt es schon. Vor allem eben in der öffentlichen Verwaltung, da wo die Leute nicht auskennen, wo es kein Produkt ist. ist. Und das heißt, das kommt jetzt europaeinheitlich und diese Datenbank wird dann wirklich auch so alles beinhalten oder gibt es da auch wieder Ausnahmen, dass zum Beispiel so Polizeimilitären nicht einmelden müssen?

Ganz richtig geraten, Thomas. Natürlich gibt es Ausnahmen und genau eine dieser Ausnahmen ist, dass KI-Anwendungen im Strafverfolgungsbereich in die Datenbank reinkommen, aber in den nicht öffentlich zugänglichen Teil. Also die Aufsichtsbehörden können das weiterhin überprüfen, aber der Öffentlichkeit ist es verborgen.

Was sind denn sozusagen da die Aufsichtsbehörden? Ich habe gelesen, da gibt es ein AI-Office. Ist das das, wovon wir reden?

Es gibt zwei Ebenen oder sogar drei teilweise, weil die Datenschutzbehörden, wenn es um personenbezogene Daten geht, auch immer noch eine Rolle haben dabei. Aber dann gibt es die Marktaufsichtsbehörden, Market Surveillance Authorities, die sozusagen die Standardbehörden sind in diesem ganzen Produktsicherheits-CE-Label-Rahmenwerk. Und dann gibt es aber, da kann Arneka mehr zu sagen, das ist mal diese ganze Marktüberwachung, das ist alles Imco-Committee-Territorium, da halte ich mich raus, das wissen die viel besser. Aber es gibt dann eben auch noch das AI-Office in der Kommission. Das, warte mal kurz, genau, das ist im Prinzip ein nettes Label für eine neue Abteilung in der Kommission. Also in der Definition steht da, das AI-Office means the commission's function of contributing to the implementation, monitoring and supervision of AI systems and AI governance. Das ist auch schon etabliert. Das wurde durch die Kommissionsentscheidung vom 24.01.2024 schon eingerichtet. Die Kommission kann ja ihre eigene interne Organisationsstruktur selber entscheiden, auch wenn das Gesetz noch gar nicht da ist. Aber die fangen jetzt sozusagen schon mal langsam an, Leute anzuheuern und das ganze Ding aufzubauen und so. Zu den Aufgaben steht in dem einen Artikel zum AI-Office eigentlich gar nichts drin. Da steht nur, das soll irgendwie das alles irgendwie koordinieren und helfen. Aber da muss man sich so ein bisschen durch den Text wühlen. In den einzelnen Punkten kommt dann sowas wie zum Beispiel die Entwicklung für Modellverträge zwischen KI, Hochrisiko-KI-Anbietern und Drittparteien, die irgendwie Komponenten und andere Unterstützungs-Sachen liefern. Dann, was heißt Template nochmal?

Vorlage.

Eine Vorlage entwickeln für Inklusive eines automatisierten Tools, damit Anbieter von KI ihre Grundrechtefolgeabschätzungen einfacher machen können. Dann soll sie dabei helfen, dass die Industrie Codes of Practice entwickelt, also Verhaltenskodizes. Und das ist ganz interessant. Das ist immer noch eine Sache der Industrie, wie bei vielen anderen Codes of Conduct oder Codes of Practice. Aber da steht jetzt drin, wenn zwölf Monate nach dem Inkrafttreten des AI Act diese Codes of Practice noch nicht da sind oder die Kommission, also das AI Office, findet, dass die nicht gut genug sind, dann kann die Kommission selber bestimmte Standards nochmal verbindlich entscheiden. Ja. Dann soll das AI-Office die technische Dokumentation von General-Purpose-AI-Modellen, also allgemeinen Zweck, was ist das General-Purpose?

Allzweck-Modellen.

Allzweck-KI-Modellen überprüfen. Dann soll sie eine Vorlage bereitstellen für eine Zusammenfassung der Inhalte, mit denen die KI trainiert wurde und so weiter und so weiter. Und dann in dem eigentlichen Artikel 64, der dieses AI-Office sozusagen etabliert, steht eigentlich nur, the Commission shall develop union expertise and capabilities in the field of AI through the AI-Office. Und das ist eigentlich so der Kern. Das war ein Tipp, den wir damals bei einer Anhörung gekriegt haben von Frances Haugen, der Facebook-Whistleblowerin, die uns geraten hat, Leute, es gibt nicht genug KI-Expertinnen und Experten in der Welt, um alle 27 Mitgliedstaaten ihre eigenen Expertisezentren aufbauen zu lassen. Das müsst ihr europäisch bündeln. Und das war sozusagen die ganze Idee hinter diesem AI-Office, dass man sozusagen hier einen Pool von Expertinnen und Experten hat, die dann eben den Mitgliedstaaten auch sozusagen beispringen und die unterstützen können bei der Umsetzung.

Klingt jetzt nicht falsch.

Ja, ich wollte nur noch mal sagen, dass das AI-Office auch schon eine Aufsichtsfunktion bei den General Purpose AI-Modellen hat. Und das war ein Zusatzbereich, den es im Kommissionsvorschlag nicht gegeben hat, nämlich diese Allzweck-Modelle. Und das war ein spezifischer Bereich, wo das Parlament ein komplettes Kapitel quasi hinzugefügt hat, weil das Parlament eben gesagt hat, okay, es ist so schön, dass wir KI-Systeme regulieren, aber es gibt ja ein Modell, das vor dem KI-System kommt, auf dem das KI-System oft basiert, wo quasi die Regeln eigentlich jetzt nicht da sind, vor allem, weil das ja alles auf dieses Hochrisiko zugemünzt ist. Von grüner Seite, unsere Idee war ursprünglich, dass wir sagen, alle Allzweckmodelle sollten alle Hochrisikoanforderungen eigentlich auch erfüllen. Das ging aber nicht durch und deswegen haben wir eben einen Kompromiss gefunden, verschiedene Anforderungen, die quasi auf den Hochrisikoregelungen basieren, aber quasi hochrisikoleit auch für diese Allzweckmodelle umzusetzen. Und da hat das KI-Büro jetzt die Funktion. Zu unterscheiden, welche der Modelle quasi nur die einfachen Dokumentations- und Transparenzpflichten erfüllen müssen oder welche Modelle quasi extra Anforderungen erfüllen müssen, also quasi in den Top-Tier fallen. Also es gibt zwei Stufen für die Modelle und Modelle, wer zum Beispiel eben GPT-free, worauf jetzt Chat-GPT basiert oder ja, also verschiedene Large-Language-Models zum Beispiel, aber auch, was auch immer in der Zukunft kommen mag, Und die stärkeren Regeln wären dann zum Beispiel Red Teaming, also interne Risikoanalyse bzw. Risikotesten von möglichen Problemen innerhalb des Modells. Und das war eben ein komplett neuer Bereich, den das KI-Gesetz selbst und die Kommission überhaupt nicht vorhergesehen hatte. Und die jetzt der Kommission deutlich mehr Macht geben, als eigentlich auch vorhergesehen war. Weil eigentlich war es wirklich gedacht, dass es national eben über die Market Surveillance Authorities und die Data Protection Authorities in jedem Mitgliedstaat einzeln die KI-Systeme überwacht werden. Und jetzt sind die ganzen Modelle ausgelagert zu dem AI-Office, das eben nicht nur eben die ganzen Punkte erfüllen kann, die Ralf vorhin schon erwähnt hat, sondern eben auch einteilen kann, wer das quasi Modell leiht und wer das Modell, das quasi einen höheren Impact hat und deswegen weitere Anforderungen erfüllen muss. Und das ist auch insofern interessant, weil in der Zukunft das AI-Office auch weitere problematische oder impactful Modelle hinzufügen kann in den Top Tier und deswegen ja relativ viel Macht bekommt.

Und wir wissen seit heute Morgen schon, wer der Chef wird.

Bevor wir dazu kommen, die generelle Struktur davon, dass wir das mal wiederholen. Also an sich war gedacht, die ganze Rechtsdurchsetzung über diese nationalen Marktaufsichtsbehörden zu machen. Und jetzt ist sozusagen auf Bestreben des Parlaments hin, dieses AI-Office bei der Kommission mächtiger geworden in Bezug auf das Einstufen von konkreten KI-Systemen gemäß ihrem Risikogehalt. Halt dieser generellen Modelle, General Purpose Modelle, da kann man sich wahrscheinlich so die klassischen Large Language Models vorstellen, oder? Ja? Unique. Und du hast dann aber am Ende eigentlich so welche Auflagen, weil für mich ist so, das habe ich auch mit Kolleginnen schon diskutiert aus der Zivilgesellschaft, es ist so ein bisschen sehr weird, jetzt zu sehen, dass eine Marktaufsicht auf einmal Grundrechte einhalten soll. Also wo sind wir denn jetzt mal so ein Testcase von, ich weiß nicht, Clearview AI haben wir vorher gesagt, das ist sowieso ganz verboten, aber was gibt es denn so für Beispiele, die ihr nennen könnt, wo nach eurer Lesart des Gesetzes einem Unternehmen auch Konsequenzen drohen, wenn durch die eigenen Systeme wirklich Schaden auftritt bei Menschen. Ist das alles nur eine theoretische Sache, wo ich eine Abschätzung irgendwo hinterlegen muss? Oder kann ich da zum Beispiel auch als Betroffener klagen? Wir haben ja, glaube ich, auch in der Sendung zuletzt schon diesen British Post Office Scandal diskutiert, wo aufgrund eines Fehlers eines Computersystems hunderte Menschen fälschlicherweise deren Existenzen zerstört wurden. Ja, hätte man vielleicht im Vorhinein auch nicht gesagt, dass es ein Hochrisikosystem sein soll. War es dann aber am Ende? Also würde der AI-Act bei solchen Fällen helfen und wenn ja, wie?

Also zum einen zur AI-Liability, also quasi zu dem Schwestergesetz zur Produkthaftungsrichtlinie. Da warten wir ja immer noch darauf, dass es da in dem Bereich eine Entscheidung geben wird. Und das würde, glaube ich, vieles von den Fällen, die du gerade genannt hast, also wie kann ich persönlich vorgehen und persönlichen Schaden, Was es schon gibt, ist, dass das KI-Gesetz auch die Möglichkeit hat, über die Collective Redress, also kollektive Verbandsklage, dass Verbandsklagen quasi ermöglicht werden. Das heißt, wenn du quasi nachweisen kannst, dass der Hersteller zum Beispiel die Anforderungen nicht erfüllt hat im Hochrisikobereich, dann wäre zum Beispiel so eine Klage möglich. Wir haben auch eingeführt, dass eine individuelle Person auch zu einer nationalen Behörde gehen kann und sich beschweren kann, wenn man glaubt, dass innerhalb dieser Regulierung gewisse Pflichten nicht erfüllt worden sind.

Aber ich hake genau da ein. Also wenn ich jetzt ein Unternehmer bin mit einer ganz bösen Absicht, so ein typischer Überwachungsschweinekonzept, kann ich sozusagen hier meinen Kopf aus der Schlinge ziehen, wenn ich genügend Papier produziere und über alle diese Risiken ganz viele Abschätzungen mache? Oder ist am Ende der real auftretende Schaden das, was auch zu der Strafe führen kann? Egal wie viel Papier ich da vielleicht rundherum mir zugekauft habe, um das zu kaschen, um das irgendwie so einzukleiden.

Ja, wenn du es als böser Überwachungskapitalist mit einer fiesen Firma es schaffst, irgendwie alle Auflagen des AI-Acts zu erfüllen, inklusive Grundrechte, Folgenabschätzung, inklusive die Auflagen zu Data Governance, dass du zum Beispiel gucken musst, ob in deinen Trainingsdaten irgendwelche Biases versteckt sind und wenn ja, musst du das irgendwie angehen und so. Wenn du das alles schaffst, dann bist du raus. Ja, ich möchte nur den fiesen Überwachungskapitalisten sehen, der das hinkriegt. Aber grundsätzlich, ich glaube, die Logik ist sozusagen, wenn ein konkreter Schaden entsteht, dann greift sowieso die Produkthaftungsrichtlinie jetzt, weil die jetzt ja auch für alle digitalen Produkte gilt. Wobei, nee, warte, die greift ja nur, wenn ich mir das Produkt selber gekauft habe. Stimmt. Nicht, wenn ich Opfer von einem Produkt von jemand anderem bin. Aber der AI-Act, soweit ich es im Kopf habe, aber correct me if I'm wrong, Annika, der sieht Strafen und Ähnliches dann vor, wenn die Anbieter von KI-Systemen oder auch die Nutzer von KI-Systemen gegen Regeln des AI-Acts verstoßen. Unabhängig davon, ob am Ende ein Schaden rauskommt oder nicht. Schaden kann dann immer auch noch zivilrechtlich und anders wie irgendwie eingeklagt werden.

Aber da will ich jetzt nochmal einhaken, weil ich fand das Beispiel, was Thomas genannt hat, mit diesem Post-Office-Skandal eigentlich ganz plastisch, weil das ja eine, also da ist der negative Impact ja sehr offensichtlich, ja, also da sind ja, Leute haben sich ja umgebracht deswegen, weil eine Software falsch gerechnet hat und wie du schon sagst, gekauft haben sie aber das Produkt nicht, sondern sie mussten das sozusagen im Rahmen ihrer vertraglichen Bindung mit dem Post Office, UK Post Office sozusagen benutzen oder es wurde für sie benutzt und es war eigentlich die Software der Post sozusagen. Also ist irgendetwas in diesem AI-Eck, wo ihr sagen würdet, hier greift jetzt diese Idee der Entscheidungsfindung und der Macht der Algorithmen, die diesen Fall abgedeckt hätte?

Also ich glaube, es geht eher darum, dass die Produkte, die zukünftig auf den Markt gebracht werden, gewisse Standards erfüllen müssen. Das heißt, die Wahrscheinlichkeit, dass so ein schädliches oder ein schadhaftes Produkt auf den Markt gebracht wird, versucht der AI zu minimieren, indem er eben Data Governance, Cyber Security und so weiter vorschlägt. Und alles, was dann quasi später passiert, findet eben in der AI Liability Directive, die es noch nicht gibt, also KI-Haftungsrichtlinie statt. Und der Hayek versucht quasi nur sicherzustellen, dass die Produkte, die in Zukunft in der EU auf den Markt kommen, ein Minimum an Standards erfüllen, die wir quasi in unseren EU-Values als wichtig genug ansehen, damit KI auch trustworthy wird, also vertrauensbindend, also dass man quasi ein gewisses Vertrauen in die KI hat.

Ja gut, aber hier ist es ja noch nicht mal KI. Hier ist ja Plus und Minus nicht richtig benutzt worden.

Dann würde es eigentlich nicht in den Scope vom KI-Gesetz kommen.

Das heißt, das ist sozusagen immer noch nicht sanktioniert. Ja, nee, verrechnen dürft ihr euch, aber ihr dürft nicht im abstrakten Raum falsch sein, nur im konkreten. Ist auch ein bisschen doof, oder?

Ja, aber dass die sich da einfach stumpf verrechnet haben, das wird ja wohl irgendwelche rechtlichen Folgen haben müssen, oder?

Ja gut, also ich meine, das geht jetzt schon seit über zehn Jahren ist es bekannt, dass sie sich verrechnet haben und es ist ja jetzt erst durch eine Fernsehserie im englischen Fernsehen und britischen Fernsehen überhaupt erst zu einem Skandal geworden, weil dann die Öffentlichkeit gesagt hat, was geht denn hier ab und in der Zwischenzeit, wie gesagt, Leute hat das halt in den finanziellen Ruin getrieben und mehrere der Betroffenen haben sich halt einfach das Leben genommen. Und das ist halt schon irgendwie so ein Level, wo ich sagen würde, da kann man schon mal rein regulieren, um sicherzustellen, dass so etwas nicht geht. Deswegen frage ich halt einfach ganz blöd, seht ihr jetzt irgendwas in diesem AI-Act oder in dieser Product-Liability-Richtlinie, das so etwas verhindert oder ist das jetzt tatsächlich noch nicht mal abgedeckt?

Wenn es um einfaches Plus-Minus geht, ist es nicht abgedeckt. Das ist ja nicht unter KI.

Also verrechnen darf man sich nach wie vor, nur nicht falsch schwurbeln.

Also es gab auch im KI-Gesetz ganz stark den Push, es nur auf Machine Learning zu begrenzen, also KI nur als Machine Learning zu begreifen. Und es hat uns sehr viel Kraft gekostet, dass zumindest Teile von Automated Decision Making weiterhin im Skop von KI-Gesetz drin sind. Also so einfachere Software ist im KI-Gesetz auf jeden Fall nicht mit ihm begriffen.

Ja gut, aber ich meine, in dem Fall war es ja so, dass den Vertragspartnern des Post Office quasi ein Fehler nachgewiesen wurde, den es so nie gegeben hat und das ist ja eigentlich auch eine Entscheidungsfindung. Es war nämlich die Entscheidungsfindung mit, deine Abrechnung stimmt nicht, obwohl sie stimmt. So und damit ist ja sozusagen von einer Software eine falsche Entscheidung gefällt worden, die dann auch später niemand anzuzweifeln bereit war, geschweige denn irgendeine Verantwortung dafür zu übernehmen. Und alle haben sich gegenseitig da in Schwarzenpeter zugezogen und alle, die das halt, es wurde ja noch dadurch verschlimmert, dass halt das Post Office auch noch in UK, gut ich weiß jetzt nicht EU und so, aber es geht ja jetzt nur sozusagen um so einen Fall, der ja durchaus realistisch ist, weil der hat ja stattgefunden, dass das Post Office halt auch noch so einen anderen rechtlichen Status hat und so weiter. Also es war also generell sehr schwierig, da überhaupt irgendwie gegenzugehen und es hat die Leute halt einfach mal komplett ruiniert. Das ist ja schon ein ziemlich harter Tobak. Also in meiner Wahrnehmung ist auch eine Berechnung, eine Saldos, eine automatische Entscheidungsfindung, weil ja da am Ende eine Wahrheit geliefert wird. Nämlich die Wahrheit mit, du hast uns genug Geld gegeben oder du hast uns nicht genug Geld gegeben.

Ich verstehe dein Reasoning und es ist nicht so, dass ich dir widerspreche. Ich kann dir aber sagen, dass genau diese einfacheren Entscheidungsfindungen, genau das ist, was der Großteil der Personen, die am Verhandlungstisch saßen, vor allem die Kommission und der Rat, auf gar keinen Fall drin haben wollten. Also da ging es schon darum zu sagen, es muss etwas sein, was schon auf höheren Ebenen quasi arbeitet und jetzt nicht ganz einfache Rechnungen und Excel-Tabellen. In Excel-Tabellen war immer so ein Beispiel, was sie gebracht haben.

Die müssen auch weiterhin falsch sein dürfen, sonst läuft gar nichts mehr.

Ich würde da gerne noch einen zweiten Fall reinnehmen, und zwar dieser niederländische Skandal, wo die Steuerbehörden sich vertan haben, wo ja auch die Regierung von Mark Rutte darüber gestolpert ist. Und das als Frage zu formulieren, es macht für den AI keinen Unterschied, ob jetzt ein Unternehmen hier dieses Produkt auf den Markt bringt und diesen Fehler macht oder diesen Bias hat oder ob es die öffentliche Hand ist, wo man ja vielleicht sagen könnte, da wollen wir höhere Anforderungen haben. Weil beim Unternehmen kann ich vielleicht noch irgendwie sagen, okay, gut, da werde ich kein Kunde. Aber wenn es jetzt irgendwelche Behörden sind, die solche algorithmischen Systeme anwenden, habe ich oft keine Wahl. Gibt es da höhere Auflagen für die öffentliche Hand?

Also es gibt grundsätzlich, die Hauptlast der Anforderungen liegt auf jeden Fall beim Hersteller und nicht beim Anwender. Also das ist mal so die grundsätzliche Idee auch vom KI-Gesetz. Das heißt, wenn, dann würde wahrscheinlich, also gerade wenn die KI in irgendeiner Form fehlerhaft, also zum Beispiel eben Bias hat, dann würde das eher auf den Hersteller fahren als auf den Benutzer. Was es aber eben schon gibt und das ist eben vor allem für Behörden, wird es wichtig sein, ist eben diese Grundrechtefolgenabschätzung, die vielleicht in dem Fall, den du genannt hast, gegriffen hätte, weil sie sich dann schon bewusst gewesen wären. Das geht aber dann schon gegen Personen, die dann zum Beispiel sozial benachteiligt sind. Aber die Hauptklasse wäre eigentlich bei dem Hersteller. Und es gibt in dem Sinne ein paar zusätzliche Anforderungen für Behörden. Aber trotzdem muss eigentlich der Hersteller garantieren und sicherstellen, dass die KI in Ordnung ist.

Aber wenn ich das ergänzen kann, dieser holländische Sozialversicherungsfall, der hat uns natürlich hier alle bewegt. Und eine unserer Co-Verhandlerinnen war ja die grüne Abgeordnete aus Holland, Kim van Starrentaak im Innenmarktausschuss, neben Sergej Labudinski im Innenausschuss. Und da ist jetzt im Annex 3 für die Hochrisiko-KIs Punkt 5 drin, extra, der war auch schon vorher von der Kommission, den haben wir nur ein bisschen aufgebohrt, alles, wo eine KI eingesetzt wird zum Entscheiden, ob jemand Zugang zu essentiellen privaten Diensten oder essentiellen öffentlichen Diensten und Benefits, also...

Also staatliche Leistungen, Sozialhilfe.

Oder auch essentielle private Leistungen, wenn das irgendwie Versicherungsleistungen sind oder sowas, keine Ahnung. Dann fällt das auf jeden Fall unter Hochrisiko-KI, man muss die ganzen zusätzlichen Auflagen erfüllen. Unter anderem, wenn es um Gesundheitsdienste geht, aber auch darum zu entscheiden, ob jemand Anspruch auf irgendwelche Leistungen hat. Ob es Renten sind, Sozialversicherungsansprüche, was auch immer. Oder wenn man in dem Kontext versucht, die Kreditwürdigkeit von Leuten abzuschätzen mittels KI. Das ist auf jeden Fall auch Hochrisiko und braucht dann eben die ganzen Dokumentationspflichten, Bias, es muss angegangen werden in Trainingsdaten und, und, und.

Das heißt, um es pragmatisch zu machen, wenn ich meine Haushaltsversicherung mir verwehrt wird oder das Jobcenter sagt, du kriegst deine Arbeitslose jetzt nicht mehr oder die Schulung nicht mehr bezahlt, dann wäre das Hochrisiko, auch wenn das vielleicht nur mit Excel passiert.

Nee, nur wenn es auf Basis von einer KI passiert. Also wenn es schon irgendwie ein Machine Learning System dahinter hängen. Was aber immer ergreift, unabhängig vom AI Act, ist dann der Artikel in der DSGVO zu Profiling und automatisierter Entscheidungsfindung, wo ja eh schon drin steht, man darf als natürliche Person nicht sozusagen Opfer sein von einer negativen Entscheidung, die ausschließlich mit automatisierten Entscheidungssystemen getroffen wurde. Also da ist auch immer noch ein Mensch verantwortlich. Und ich habe immer noch das Recht, mich da auch zu beschweren entsprechend nach DSGVO und so.

Ja, ich denke, es wird dann nicht so lange dauern, bis die AI auch in Excel das Sagen hat. Von daher fällt es dann vielleicht irgendwann doch wieder da drunter. Na gut, also ein paar Lücken bestehen auf jeden Fall noch.

Ja, wenn du gerade Lücken ansprichst, kann ich noch eine Lücke nennen, die wir leider im Endgesetz jetzt drinnen haben. Also ich habe schon vorhin erwähnt, dass quasi das ganze Gesetz das Wichtigste ist eigentlich, okay, jetzt neben den General Purpose AI Punkten, die gut sind, die Hochrisikofälle und die Hochrisiko-KI. Und da gibt es einen Artikel, der quasi sagt, was fällt in Hochrisiko und was nicht. Das ist der Artikel 6. Und das war eigentlich die Krux in dem Ganzen oder das Wichtigste in dem ganzen Gesetz, nämlich was fällt also aus dem Annex, den wir dazu haben, quasi die Bereiche drinstehen, tatsächlich in alle Anforderungen quasi, die im Gesetz stehen. Und da gibt es jetzt quasi drei Möglichkeiten, wie man sich aus dem Gesetz wieder rausholen kann, die relativ weit formuliert sind und möglicherweise auch noch in Zukunft zu Problemen führen könnten, weil sie so weit formuliert sind. Das heißt, man kann sich dann eigentlich wieder aus den Hochrisikoverpflichtungen rausholen, wenn man in diese drei Bereiche fällt. Die ganze Raison des Gesetzes, auf dem die Kommission auch ihre Logik aufgebaut hat, ist eigentlich mit diesem Artikel 6 und mit diesen Ausnahmen ein bisschen zerstört worden. Und das ist etwas, das für uns sehr hart hinzunehmen.

Was sind das für Ausnahmen?

Ein ganz kleiner Moment. Also, wenn die KI nur narrow procedural, also prozedurale Anwendungen sind, die quasi so ein bisschen nebenbei laufen, aber nicht quasi das Hauptressort der KI sind, dann kann man sich rausnehmen, was jetzt genau diese narrow procedural tasks sind. Haben wir jetzt ein bisschen im Erwägungsgrund erklärt, könnte man aber auch relativ weit begreifen. Dann sagt es, wenn die KI nur versucht, eine bereits ausgeführte menschliche Aktivität zu verbessern, was ist eine bereits ausgeführte menschliche Aktivität? Das könnte alles sein. Ich glaube, Ralf hat gesagt oder jemand, es könnte eine gebaute Pyramide sein. Das ist ja auch eine beendete menschliche Aktivität. Also, ja, problematisch, wenn das KI-System nur Decision-Making-Patterns versucht zu verbessern und keine menschliche Entscheidung entwickelt. Ersetzt.

Aber das ist ja genauso wie das, was Ralfrat gesagt hat. Bei der DSGVO haben wir auch diesen guten Artikel, die automatisierten Entscheidungen, die sozusagen zustimmungspflichtig ist, wenn sie ausschließlich von einer Maschine getroffen wird. Also solange da irgendwo noch ein Mensch sitzt, der die ganze Zeit nur auf OK klickt zu dem, was die Maschine ihm vorgibt, kannst du dich eigentlich wieder rausreden.

Ja, was höchst problematisch ist und was eben auch zum Beispiel dieser Human Oversight Artikel, also eine dieser Regeln, die die Hochrisiko-KI zu befolgen haben, ist eben, dass es einen Human in the Loop gibt, also einen Menschen, der da sitzt und eben okay drückt. Und wir haben quasi auch versucht, bei den Verhandlungen zu erklären, dass es sowas wie Automation Bias gibt, also dass man quasi davon ausgeht, dass wenn die KI sagt, naja, die Person ist in irgendeiner Form kriminell, dann wird das schon stimmen, weil die hat das ja aufgrund von irgendwelchen Parametern bemessen. Und das ist eben genau das Problem, dass nur weil ein Mensch da sitzt und das überprüft, das nicht immer mit einem großen Gedankengang einhergeht, weil die Personen oft gar keine Zeit haben, sich da groß zu überlegen, welche Parameter da jetzt in die KI angeflossen sind. Und das ist natürlich schon problematisch, dass es jetzt diese Möglichkeiten gibt, um sich quasi wieder aus dem AI rauszuholen. Das gilt aber nur für KI-Systeme und nicht für die Modelle. Also für die Modelle gibt es diesen Filter, in Artikel 6 für die gilt er nicht.

Was wir in der Parlamentsposition, wenn ich mich richtig erinnere, dritte hatten, war ein ausdrückliches Verbot dafür, dass eine KI quasi Urteile schreiben darf, die der Richter am Ende nur noch unterzeichnet. Das ist aber leider im Trilog wieder rausgeflogen.

Da würde ich gerne wissen, welcher Mitgliedstaat sich dafür eingesetzt hat, dass das künftig gehen kann.

Keine Ahnung.

Ja, wir haben da zu viel...

Wir haben mit den Spaniern verhandelt vor allem. Aber wer dann dahinter steckt, ist uns immer so ein bisschen unklar, wenn man da nicht die Kontakte hat. Und natürlich eine Sache vielleicht noch zum Schluss. Das riesengroße Ding, das bis zum Schluss umstritten war und uns da irgendwie zwei Nächte noch gekostet hat, war halt die Frage mit Gesichtserkennung im öffentlichen Raum.

Ja, ich wusste, dass das jetzt so kommt. Ich hätte dich sonst gleich danach gefragt. Wie ist das denn gelöst? Hier war die große Forderung der Zivilgesellschaft, Gesichtserkennung im öffentlichen Raum wirklich gänzlich als Hochrisikotechnik zu verbieten und daran anschließend natürlich auch alle anderen Formen biometrischer Erkennung am Gang, einfach alles, wo uns Bewegungsfreiheit im öffentlichen Raum weggenommen wird und Datenschutz eingeschränkt. Das war auch mit einer europäischen Bürgerinitiative nochmal bestärkt, diese Forderung, Reclaim Your Face, hieß die Kampagne. Und das hat es ja, glaube ich, auch in die Parlamentsposition geschafft. Nehmt uns nicht die Hoffnung. Was ist daraus geworden?

Das übernehme ich mal, ja. Das ist eher mein Blutfallbereich. Ja, es steht jetzt in Artikel 5, Paragraph 1.h. Also Paragraph 1 ist, die folgenden KI-Praktiken sind verboten. Paragraph h, die Nutzung von Echtzeit-biometrischen Identifikationssystemen auf Entfernung in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung. Ist verboten, steht so drin, aber leider ist der Satz dann noch nicht zu Ende. Der geht nämlich dann weiter, außer und insoweit, als solche Benutzung strikt notwendig ist für eines der folgenden Zwecke. Und dann kommen sozusagen die Ausnahmen, wo es dann doch erlaubt ist, die gezielte Suche nach spezifischen Opfern von Entführung oder Human Trafficking oder so. Zweitens die Verhinderung einer spezifischen, substanziellen und unmittelbar bevorstehenden Bedrohung für das Leben oder die physische Sicherheit von natürlichen Personen oder einer genuinen und gegenwärtigen oder vorhersehbaren Bedrohung einer terroristischen Attacke. Und drittens die Identifizierung und Lokalisierung von einer Person, die verdächtig ist, eine Straftat begangen zu haben, die mit einer Höchststrafe von mindestens vier Jahren Gefängnis bestraft werden kann. Also für die Zwecke wäre es noch erlaubt. Also die Idee war sozusagen dahinter dann am allerletzten Kompromiss, Donnerstag, Freitagnacht oder wann, kurz vor Weihnachten, dass wenn irgendwo jemand eine Tankstelle ausgeraubt hat und davonrennt oder davonfährt auf dem Motorrad oder so und vielleicht keinen Helm auf hat, dass man dann schnell in Echtzeit die Kameras, die es da in der Gegend gibt, wenn die sozusagen verbunden sind und Gesichtserkennung überhaupt können und sowas, einschaltet und sagt, hier, den finden wir mal diesen einen Räuber hier. Damit wir, solange der noch in der Nachbarschaft ist, irgendwie grob eine Chance haben, dass der irgendwie noch gefasst wird. Das war sozusagen die Idee. Da kann man dann sagen, ja, ist total offen und weit. Das hat aber bestimmte weitere Voraussetzungen noch. Das soll autorisiert werden von einer Justizbehörde oder einer anderen Behörde, die binnen der Entscheidungen treffen können, also de facto Staatsanwaltschaft dann wird das sein in der Praxis.

Ein Richter?

Ja, eben, Justiz oder Staatsanwaltschaft. Dann muss diese Behörde, die es anwenden will, vorher eine Grundrechtefolgenabschätzung gemacht haben mit dem System. Zumindest in der Regel, es gibt Ausnahmen. Dann muss es strikt limitiert sein in Bezug auf die Zeit, in der das gemacht werden darf, also die Dauer und den geografischen und persönlichen Anwendungsbereich. Du kannst ja nur die Nachbarschaft überwachen, aber nicht ganz Berlin oder so oder ganz Brüssel. Und jede Nutzung soll den zuständigen Marktaufsichtsbehörden und Datenschutzbehörden notifiziert werden. Und das Ganze ist aber sozusagen nur die Leitplanke. So weit darfst du maximal gehen. Das ist noch keine Rechtsgrundlage dafür. Es steht dann in § 5, um das machen zu können, müssen die Mitgliedstaaten selber noch eine Rechtsgrundlage in ihrem nationalen Recht schaffen. Also wir haben als KI-Gesetzgeber hier jetzt nichts erlaubt. Wir haben nur gesagt, wenn ihr das macht, müsst ihr diese Leitplanken einhalten. Und es steht ausdrücklich drin, die Mitgliedstaaten können auch restriktivere Gesetze verabschieden zu dem Thema.

Da ist aber jetzt ein Wort drin, nämlich das Wort Echtzeit. Wenn ich das jetzt richtig verstanden habe, schließt diese ganze Regelung nur die Echtzeitverwendung aus, aber nicht die Vorratsdatenspeicherung sozusagen.

Die Vorratsdatenspeicherung von Kamerabildern ist nochmal ein ganz anderes Thema. Das ist nicht vom KI-Gesetz geregelt. Also wie lange so eine Kamera Bilder aufbewahren darf, das ist außerhalb des Geltungsbereichs vom AI-Act.

Ja, beziehungsweise wenn man halt jetzt sozusagen Gesichtserkennung macht auf den Daten, aber halt nicht in Echtzeit.

Du speicherst die fünf Minuten ab und danach machst du die Gesichtserkennung drüber.

Zum Beispiel, oder auch ein paar Tage so.

Oder es ist halt irgendwie, du hast es vorher gesagt, nur für den strafrechtlichen Bereich. Die Privaten sind davon jetzt nicht umfasst.

Die Privaten sind nicht erfasst und auch sowas wie Grenzkontrollübergänge sind nicht erfasst. Das ist von der Datenschutzgrundverordnung geregelt. Da gibt es zum Beispiel auch schon Entscheidungen der Datenschutzbehörden, wenn irgendwelche Fußballstadien ein Verbot hatten von Hooligans, dann haben sie teilweise Gesichtserkennung eingesetzt, um die einzelnen Hooligans, die ein Stadionverbot hatten, zu finden. Da gibt es Entscheidungen der Datenschutzbehörden, sozusagen außerhalb dieser Regelung hier. Was es aber auch noch gibt, ist eine Regelung zu retrograder biometrischer Gesichtserkennung, also Post-RBI, eben nicht in Echtzeit. Und da ist eben die Idee, dass das nicht mehr verboten ist, sondern nur noch Hochrisiko, was für uns ein super, super dicke Kröte war, das zu schlucken. Könnt ihr euch vorstellen. Wir wollten komplett verabredet von allem. Wir haben jetzt schon in Echtzeit da irgendwie ein paar Ausnahmen drin reingekriegt, die aber, wie gesagt, für spezifische Verdächtige und so nur greifen. Und für retrograde KI-Echtzeit, nein, für retrograde Gesichtserkennung im öffentlichen Raum, da brauchst du erstmal die Aufnahmen, sonst kannst du es nicht machen. Und da gibt es dann eben unter Datenschutzrecht schon Regeln, wie lange dürfen Videokameras die Daten speichern und so und nach wie vielen Stunden müssen sie gelöscht werden oder überschrieben werden. Und wenn du diese Daten noch hast, wenn die mal gespeichert sind und auch legal noch gespeichert waren, dann kannst du die jetzt für ähnliche Fälle benutzen, nämlich für eine gezielte Suche nach einer Person, die auch wieder einer Straftat verdächtig ist, in dem Fall nicht mal eine schwere Straftat, sondern generelle Straftaten, wiederum mit Autorisierung eines Gerichts oder einer Staatsanwaltschaft. Limitiert auf das, was strikt notwendig ist für die Ermittlung in einem spezifischen Strafverfahren, also kannst du die einfach allgemein erstmal alle so abscannen, ohne Anlass, In keinem Fall soll so ein Hochrisiko-KI-System genutzt werden für Strafverfolgungszwecke in einer ungezielten Art, untargeted way, ohne Link zu einer spezifischen Straftat oder einem Strafverfahren oder eben einer spezifischen drohenden Gefahr oder so. Und solche Nutzungen müssen dann zumindest in der relevanten Polizeiakte dokumentiert werden und auch den Marktaufsichtsbehörden und Datenschutzbehörden verfügbar gemacht werden auf Nachfrage. Und wir sind uns, glaube ich, alle echt einig, dass das nicht gut ist. Das ist irgendwie viel, viel offener und viel weiter, als wir es uns gewünscht hätten. Das war am Ende sozusagen der Kompromiss, der auch noch total verfahrensmäßig richtig übel gelaufen ist. Wir hatten am letzten Abend des Trilogs, das war das 12., 10. Dezember oder so, hatten wir noch keinen finalen Text zu dieser retrograden Gesichtserkennung. Wir hatten aber vorher einen Text von einer spanischen Ratspräsidentschaft bekommen, der irgendwie in die richtige Richtung ging. ging. Da war noch eine limitierte Liste mit Straftaten, wo das genutzt werden kann und so weiter. Aber irgendwie ist es dann nicht mehr dazu gekommen, noch einen finalen Text auszufaden in der Nacht. Und dann sind alle nach Hause und ins Wochenende und am Montag oder Dienstag haben wir noch mal wieder ein paar Aufräumtermine gehabt auf technischer Ebene, also Mitarbeiterebene. Und dann kriegen wir plötzlich von den Spaniern da einen Text präsentiert, der einfach komplett anders war als das, was wir gedacht hatten, wie die Einigung ist. Und dann ging es wirklich noch zwei Wochen hin und her. Die letzte Woche war dann irgendwie die die Sitzungsfeierwoche vor Weihnachten, wo alle schon im Urlaub waren. Ich saß da irgendwie an der Nordsee im Ferienhaus und habe mir noch E-Mails hin und her geschickt. Und dann ist am Ende das hier rausgekommen, wo dann auch irgendwie jetzt sozusagen keiner mehr das Fass nochmal komplett aufmachen wollte. Der Trilog war sozusagen schon fertig und dann wurde diese Kröte geschluckt. Muss man nicht gut finden, überhaupt nicht. Und die Bundesregierung hat, glaube ich, schon entschieden, dass sie es auf jeden Fall enger ziehen will, wenn es überhaupt in Deutschland irgendwie Gesetzesgrundlage dafür geben wird. Und wir werden natürlich weiter dafür kämpfen, wenn das Ding mal wieder renoviert wird oder andere Gesetzesvorschläge kommen, die das irgendwie berühren könnten, dass das auf jeden Fall enger gezogen wird, ganz klar. Aber an dem Punkt jetzt den ganzen AI-Act scheitern zu lassen, war es uns auch nicht wert genug, weil da einfach so viele Sachen drin sind, die einfach jetzt mal gut sind, dass sie an den Start kommen.

Es war ja kurzzeitig so, dass es die Mehrheit im Rat in der Schwebe stand und wir beide haben uns ja genau zu der Zeit getroffen und du meintest, ob ich da irgendwie bei der österreichischen Justizministerin fragen würde. Ich bin mir bis heute nicht sicher, ob das Gesetzeswert wäre, gerettet zu werden. Aber um vielleicht auch da zum Abschluss zu kommen, würde mich von euch beiden noch interessieren, was mit diesem Gesetz denn jetzt wirklich so die prägnante Sache, der prägnante Missstand sein soll, den wir damit wirklich hoffentlich verbessern. Bei der DSGVO, was ja damals Facebook, da war die große Erwartungshaltung, dass wir damit endlich Facebook dazu bringen, mit personenbezogenen Daten besser umzugehen. Ich glaube, es ist sehr überschaubar, was wir damit wirklich geschafft haben, trotz aller guten Absichtsbekundungen damals. Wie ist es beim AI-Act? Also ist da jetzt Palantir zum Beispiel, müsste es da eigentlich Änderungen in der Realität geben mit diesem Gesetz, wo ihr sagt, da sollte wirklich sich etwas in der Praxis ändern oder auch die Schufa zum Beispiel. Also Kreditauskunft Hain ist da aus eurer Sicht, um es nochmal zu Ende ganz praktisch zu machen. Was erwartet ihr euch jetzt von dem AI-Act, an dem ihr so lange gearbeitet habt?

Ich fange mal an. Also ich glaube, dass so ein bisschen das, was quasi immer unter diesem Begriff vertrauenswürdige KI, made in Europe, quasi gedacht wird, dem quasi ein bisschen ein Gesetz dahinter gelegt wird, was das eigentlich bedeutet. Das heißt, welche konkreten Anforderungen haben wir an die zukünftigen KI-Systeme, die in Europa auf den Markt gebracht werden? Was sind sozusagen die Mindestanforderungen, die das erfüllen muss? Und das Gleiche für die Modelle. Also es ist quasi eine Mindestanforderung, ein bisschen eine Ausdeklinierung dessen, was wir quasi unter schönen Worten die ganze Zeit erzählen, wie wir das gerne hätten. Und ein paar Systeme sind eben komplett verboten, aber es sind eben viel weniger, als wir eigentlich für notwendig gehalten hätten. Also es ist nicht der große Wurf, den sich manche erhofft hatten, aber ich glaube, wenn man sich das Gesetz anschaut und auch wie das Gesetz gemacht ist, dann konnte dieses Gesetz auch nie diese Erwartungshaltung erfüllen, auch weil KI und automated decision making so viele Bereiche umfasst. Das geht eben von biometrischer Massenüberwachung bis KI-Systeme, die kreativ verwendet werden oder die sagen, zu welcher Schule du gehen sollst. Und den Bereich so groß zu spannen, heißt halt auch, man kann nicht ganz oben anfangen, sondern es ist quasi ein Minimalkonsens darüber, wie KI-Systeme in Zukunft gemacht werden sollen. Aber gerade auch darauf basierend, welche KI-Systeme jetzt schon am Markt sind, ist es extrem schwierig zu sagen, weil auch da die Anforderungen ja auch viel später erst in Kraft treten werden.

Aber ganz konkret, wegen Palantir, wenn Palantir genutzt wird, um über individuelle Personen Vorhersagen zu machen, ob sie irgendwann mal eine Straftat begehen, dann muss das jetzt weg. Das ist nicht mehr erlaubt in Zukunft, so ganz konkret. Und es soll eben auch, wie gesagt, sowas wie diesen niederländischen Sozial-Social-Benefits-Skandal da irgendwie in Zukunft vermeiden, helfen. Eine Sache, die wir noch gar nicht erwähnt hatten, wo wir aber auch ziemlich drauf stolz sind, ist, dass jetzt in Zukunft viele KI-Systeme, vor allem die Allzwecksysteme, auch Energiebilanzen offenlegen müssen. Das Zeug verbraucht ja unglaublich viel Strom und auch Wasser. Das muss jetzt offengelegt werden, mindestens für die General-Purpose-KIs. Da bin ich mal gespannt. Also Ökobilanzen und so haben wir jetzt auch drin. Auch einer unserer Erfolge.

Das ist eine gute Regelung. Da bin ich auch gespannt, wie das ausgeht. Ob man das überhaupt so berechnet bekommt. Wahrscheinlich schon irgendwie.

Das kannst du einfach berechnen. Du hast irgendwie so viele Millionen Videokarten und guckst halt, was die dann Strom verbrauchen. Das ist nicht so schwer.

Ja, ist klar. Gut, ich denke, den AI-Act-Teil können wir damit beschließen, oder?

Ich glaube auch, wenn es von eurer Seite nichts mehr gibt, dann, wir sind schon relativ lange, deswegen machen wir das jetzt vielleicht sehr kurz. Ich wollte nur nochmal so einen Ausblick auf die EU generell. Ihr sitzt ja auch weiter in Brüssel und seid da sehr nah dran und wir haben jetzt ein paar.

Wir sind mittendrin.

Genau, statt nur dabei und habe da ja auch wirklich auch, es heißt ja irgendwie so schön, dass das Herstellen von Würsten, von Sausages und das Gesetze machen, da will man nicht so genau wissen, wie es wirklich passiert und gleichzeitig ist die EU auch gerade am Ende ihrer Legislaturperiode, im Juni sind Wahlen. Man hat auch, glaube ich, gesehen, dass ganz viele netzpolitische Themen dann am Ende an den Mehrheitsverhältnissen im Parlament und natürlich auch in den nationalen Regierungen hängen. Und ja, nach allen Vorhersagen wird es einen Rechtsrott geben im Europaparlament. Das heißt, es wird eine Mehrheit geben aus den Fraktionen ID, was AfD, FPÖ ist, ECR, also die europaskeptischen Konservativen bis Rechtsextreme in manchen Fällen. Und halt auch der Europäischen Volkspartei. Und das wird natürlich, glaube ich, dann auch so diese Schlagzahl der Gesetze, vor allem wenn es darum geht, Harmonisierungen durchzuführen. Wahrscheinlich reduzieren. Was manchmal vielleicht sogar ganz gut wäre, wenn man sich mehr Zeit nimmt für die Gesetze, schaut, dass man wirklich eine breite Mehrheit hat. Insgesamt ist mein Eindruck, auch wenn ich euch heute so zugehört habe, dass ganz viel am Zeitdruck liegt. Dass etwas unbedingt bis dahin fertig werden muss und dann sind halt irgendwie drei Viertel der Leute schon auf Urlaub und Ralf muss irgendwie aus dem Ferienhaus heraus dann das fertig verhandeln. Das kann es ja nicht sein. Also ich meine, wenn sich Europa ernst nimmt, dann muss man den Gesetzestext vor sich haben ausverhandelt und dann entscheiden, ob der eine Mehrheit hat. Also ganz oft tut einem das ja schon beim Zuhören und Zuschauen weh, wie dann wirklich diese Entscheidungen, wie stümperhaft diese Entscheidungen zustande kommen. Aber ja, wie geht es euch damit und wie schaut ihr jetzt so auf die Zeit nach der Wahl?

Vielleicht zu der ersten Frage, wie laufen sozusagen diese Trilogverhandlungen? Ist das wirklich immer so schlimm? Als wir die Datenschutz-Grundverordnung damals verhandelt haben, haben wir wirklich den Text vor uns gehabt. Der wurde auf meinem Laptop mitprotokolliert, je nach Verhandlungsstand. Und am Ende des letzten Triloges, das war auch so nachts um elf, aber immer noch eine halbwegs menschenwürdige Zeit, hatten wir einen fertigen Text. Text, der muss dann ein paar Mal noch horizontal angepasst werden, das haben wir dann noch kurz danach noch gemacht in meinem Büro und der konnte dann direkt an die Mitgliedstaaten rausgehen und auch an alle Abgeordneten, die beteiligt waren. Das habe ich jetzt ein paar Mal erlebt, dass das nicht so gelaufen ist. Mal gucken, wie es morgen Nacht wird bei den Gesundheitsdaten, ob wir da einen finalen Text haben, da ist es zumindest ein bisschen besser, dass jetzt schon mal Textentwürfe vorher flottieren. Beim AI-Hack war es einfach wirklich chaotisch, wir hatten beim letzten Trilog, als der anfing, noch 22 Punkte offen, haben dann wirklich von Nachmittags um drei die ganze Nacht durch bis zum nächsten Mittag um eins verhandelt, dann eine Pause gemacht, einmal schlafen können die Nacht dann und am Freitag um acht Uhr morgens ging es schon wieder weiter bis nach Mitternacht. Und da gab es dann einfach teilweise keine Texte. Ich habe von anderen Trilogen gehört, wo es teilweise nur so Bullet-Point-Listen gab, auf was man sich jetzt geeinigt hat, wo dann die technische Ebene hinterher noch einen Monat beschäftigt war, das auszuformulieren. Da hat, glaube ich, die Qualität echt ein bisschen gelitten in letzter Zeit, ist so mein Eindruck. Da gibt es aber jetzt auch schon eine Reaktion drauf und zumindest vom Parlament aus gibt es jetzt offenbar Bestrebungen, ein interinstitutionelles Abkommen zu verhandeln mit dem Rat und der Kommission, wie genau so Triloge eigentlich geführt werden müssen. Weil das oft immer noch sehr informell ist, die sind ja auch in den Verträgen irgendwo vorgesehen. Ich bin trotzdem der Meinung, man braucht so einen geschützten Raum, wenn man sich auf irgendwelche Texte einigen will. Da muss man halt die Köpfe zusammenstecken mit Ausschluss der Öffentlichkeit. Aber das braucht zumindest ein paar Regeln. Und da soll jetzt hoffentlich nach der Wahl mit den anderen Institutionen daran gearbeitet werden.

Annika, wie siehst du das?

Ich glaube, das Problem war auch jetzt beim KI-Gesetz die einfache Unmenge an Gesetzen, die jetzt noch verabschiedet werden sollten vor Ende der Legislaturperiode. Und die Angst, die halt irgendwo immer auch mitgeschwungen ist, ist, was, wenn wir dieses Gesetz eben nicht, dieses Mandat fertig kriegen. Was bedeutet das dann mit einem deutlich rechteren Parlament? Kriegen wir da noch die Punkte, die uns wirklich wichtig sind, durch? Und vor allem auch im Hinblick darauf, dass eben Ungarn auch die nächste Ratspräsidentschaft nach Belgien jetzt hat und damit dann viele von den Prioritäten, die wir hatten, was Menschenrechte betrifft, sehr unwahrscheinlich gewesen wären. Das heißt, es hätte sich noch weiter verzögert und dann wären wir im Jahr 2025 gewesen, wo wir dann wieder angefangen hätten, an KI-Gesetzen zu arbeiten und dann sind wir halt auch keine Vorreiter mehr. Also dann hätten wir eigentlich vielleicht sogar das Gesetz nochmal komplett neu machen müssen. Also das ist halt immer mit geschwungen, aber ich gebe grundsätzlich recht, dass die Tatsache, dass wir keinen finalen Text hatten, das war einfach unglaublich. Und wir haben auch wirklich drum gebettelt. Und das war einfach dann auch vielleicht der Zeit geschuldet, die wir da gesessen sind, ist dann einfach ausgerufen worden, dass es einen Deal gibt und dann haben sich halt auch Politiker mitreißen lassen. Diesen Deal einfach dann festzusetzen. Und ja, ich finde das auch super problematisch und ich hoffe auch, dass es in Zukunft besser läuft. Ich weiß auch, dass wir uns in dem Ausschuss, der sich eben mit den ganzen Prozessen beschäftigt und den Rules of Procedure dafür einsetzen, dass es eben auch bessere Regeln in den Trilogen gibt, dass es auch etwas mehr Transparenz gibt. Also es muss nicht unbedingt einen Livestream geben, aber dass gewisse Dokumente auch etwas transparenter sind. Und das hoffe ich mir für die Zukunft auch eben auch, um das Vertrauen in die EU-Institutionen auch zu verbessern. Absolut.

Ich glaube, der Zugang zu Texten, ich meine, ich habe die ja dann oft über Kanäle, aber dass das nicht öffentlich ist, ist wirklich ein Unding. Was in Parlamenten diskutiert wird, sollte öffentlich sein. Und ein Vorschlag für diese Regeln, die ihr euch geben wollt, es würde schon sehr viel helfen, wenn Europaabgeordnete sich nicht bereit erklären, auf irgendwelchen Fotos mit der Kommission und der Ratspräsidentschaft zu sein, bis der Text wirklich ausverhandelt ist. Weil oft ist es so irgendwie das getwitterte Foto und jetzt sind wir fertig und dann stehen alle auf und glauben, dass sie wirklich fertig sind, auch wenn danach noch ganz viel wegverhandelt wird. Das haben wir leider ein paar Mal gesehen und das ist nur ein billiger Trick. Ich hoffe, das war heute trotzdem eine Sendung, die nicht nur traurig zurücklässt, sondern ein bisschen aufgezeigt hat.

Cyber, Cyber, alles gut.

Aber jetzt will ich noch wissen, hilft euch denn AI sozusagen auch bei der Analyse dieser ganzen Textvorschläge? Ich meine, ihr seid ja auch die ganze Zeit so in diesem Business mit, ihr kriegt so viel Text zugeschickt und permanent müsst ihr irgendwie verstehen, was da jetzt eigentlich mit gemeint ist. Kommt da sozusagen auch schon die LLM zum Einsatz oder macht ihr das alles noch von Hand?

Welcher Teil von May I Act wurde von ChatGPT geschrieben?

Also ich kann sagen, das einzige Mal, wo ich in meinem Leben Chachapiti verwendet habe, um mit meinem Freund zu brainstormen, welche Hundenamen wir uns überlegen möchten. Ich schwöre. Also wir haben alle Texte selber gelesen und selber analysiert und es waren sehr, sehr viele Texte. Aber die Versuchung ist natürlich groß, aber es spielt eigentlich nicht wirklich eine Rolle, weil gerade diese Texte so spezifisch sind und so technisch und so kontextbasiert, dass es schwierig wäre und ich finde auch ethisch problematisch, das durch irgendeine KI zu jagen.

Ja, okay. Man kann es ja auch... Ganz praktisch sehen, einfach als Tool, also ich gebe zu, dass jetzt zum Beispiel auch gemacht zu haben, ich nehme mir so einen kompletten Text, den ich jetzt, wenn ich den lesen würde, ohnehin nicht verstehen würde, weil mir einfach das juristische Modell dafür fehlt und die Dingertaugung sicherlich für vieles nicht, aber dieses Text zusammenfassen, das kriegen die schon irgendwie ganz gut hin. Und dann kann man halt zumindest schon mal reinstochern und sagen so, wird da etwas erwähnt zu dem und dem und so weiter und das ja, das sind schon mal ganz hilfreiche Ansätze für mich, aber dass ihr das professioneller handhabt, daran habe ich keinen Zweifel.

Word und solche Software kann ja Auto-Summarize schon länger, da brauchst du keinen Chatbot für. Aber unser Job ist halt leider nicht nur die Zusammenfassung zu machen, sondern das Ding im Detail zu lesen und zu verstehen und umzuschreiben, da kommt einfach kein Weg dran vorbei.

Na klar. Na gut, dafür seid ihr ja auch hier die Profis. Vielen, vielen Dank für eure Ausführungen und natürlich auch für eure Arbeit an den Gesetzeswerken. Das ist ja mit wenig Urlaub gesegnet, wie wir gerade gehört haben. Und ja, das ist ja eine Entbehrung. Dann kriegst du vielleicht den nächsten neuen Eintrag, Annika, auch bei der IMDB, wenn du dann wieder in Hollywood-Fußstapfen steigst.

Ja, danke euch für die Einladung.

Danke auch von meiner Seite und bitte weitermachen und bis zum nächsten Mal.

Danke. Alles klar, das war's heute vom Logbuch Netzpolitik. Bald geht's wieder weiter, dann vielleicht auch wieder mit Linus. Wir sagen tschüss und bis bald.