Jobs — Raumzeit — AI Act — Deepfake CREO Fraud — Kennzeichnung von KI-Bildern — Maaßen verfaschungsschutzt —UN Cybercrime Convention — Flipper Zero — VAULT7-Urteil — Freiwillige Chatkontrolle — Datenschutzgesetznovelle
Tim und Linus waren wählen und finden sich deswegen ganz toll. Nicht so toll finden wir Details zum AI Act, pöse AI-Kriminelle und Versuche, auch physische Hackertools zu verbieten. Dass Ex-BfVS-Chef Maaßen jetzt von seiner eigenen Behörde beobachtet wird wiederum bietet wiederum etwas Genugtuung.
Für diese Episode von Logbuch:Netzpolitik liegt auch ein vollständiges Transkript mit Zeitmarken und Sprecheridentifikation vor.
Bitte beachten: das Transkript wurde automatisiert erzeugt und wurde nicht nachträglich gegengelesen oder korrigiert. Dieser Prozess ist nicht sonderlich genau und das Ergebnis enthält daher mit Sicherheit eine Reihe von Fehlern. Im Zweifel gilt immer das in der Sendung aufgezeichnete gesprochene Wort. Formate: HTML, WEBVTT.
Transkript
Shownotes
Prolog
- tagesschau.de: Offenbar geringe Beteiligung bei Wiederholungswahl in Berlin | tagesschau.de
- tagesschau.de: Wie die Wiederholung der Bundestagswahl in Berlin abläuft | tagesschau.de
Jobs: Win 3.11 Admin
- heise.de: Bahnkonzern Siemens sucht Admin für Windows 3.11 for Workgroups
- golem.de: ALTES WINDOWS: Systemadministrator für Windows 3.11 und MS-DOS gesucht
- web.archive.org: GULP
Hausmitteilung
- raumzeit-podcast.de: 21.02.2024: Raumzeit Live auf der Bühne mit Ulf Merbold im Zeiss-Großplanetarium in Berlin | Raumzeit
AI Act
- netzpolitik.org: Grundrechte in Gefahr: Die sieben quälendsten Fragen zur KI-Verordnung – netzpolitik.org
- reclaimyourface.eu: Reclaim Your Face DE – Reclaim Your Face
- golem.de: AI ACT GELEAKT : So will die EU die Künstliche Intelligenz regulieren
- netzpolitik.org: KI-Verordnung: Biometrische Massenüberwachung ohne Wenn und Aber? – netzpolitik.org
- reclaimyourface.eu: EU AI Act will fail commitment to ban biometric mass surveillance (Deutsche Version unten) – Reclaim Your Face
- ai-act-verabschieden.de: AI Act verabschieden
- tante.cc: Innovation ist kein politischer Wert
- netzpolitik.org: Grundrechte in Gefahr: Die sieben quälendsten Fragen zur KI-Verordnung – netzpolitik.org
Deepfake CEO Fraud
- edition.cnn.com: Finance worker pays out $25 million after video call with deepfake ‘chief financial officer’ | CNN
- heise.de: Videokonferenz voller KI-Klone: Angestellter schickt Betrügern 24 Millionen Euro
- golem.de: KI: Deepfake eines Finanzchefs ermöglicht Millionenbetrug
- spiegel.de: Hongkong: Kriminelle erbeuten Millionenbetrag mit Fake-Videokonferenz – DER SPIEGEL
- scmp.com: ‘Everyone looked real’: multinational firm’s Hong Kong office loses HK$200 million after scammers stage deepfake video meeting | South China Morning Post
Meta: Kennzeichnung von KI-generierten Bildern
- netzpolitik.org: Sexualisierte Bilderfälschungen: Die Deepfake-Flut – netzpolitik.org
- heise.de: KI-generierte pornografische Bilder: Suche nach Taylor Swift eingeschränkt
- spiegel.de: Taylor Swift: X unterbindet Suchen nach Fake-Pornomotiven
Maaßen als Rechtsextremist vom BfVS geführt
UN Cybercrime Convention
- unodc.org: Ad Hoc Committee – Home
- eff.org: Protect Good Faith Security Research Globally in Proposed UN Cybercrime Treaty | Electronic Frontier Foundation
Canada will Flipper Zero verbieten
- bleepingcomputer.com: Canada to ban the Flipper Zero to stop surge in car thefts
- freakshow.fm: FS272 Sorgenfreie Intelligenz | Freak Show
VAULT7 Leaker verurteilt
e-Privacy-Ausnahme “Freiwillige Chatkontrolle”
Datenschutzgesetznovelle
- netzpolitik.org: Änderung des Bundesdatenschutzgesetzes: Ausnahme für Geschäftsgeheimnisse als „Geschenk für Unternehmen“ – netzpolitik.org
- bmi.bund.de: Entwurf eines Ersten Gesetzes zur Änderung des Bundesdatenschutzgesetzes
- bmi.bund.de: Evaluierung des Gesetzes zur Anpassung des Datenschutzrechts an die Verordnung (EU) 2016/679 und zur Umsetzung der Richtlinie (EU) 2016/680
Mr. Blacksoot hat zur Sendung noch eine Sketchnote gemacht:
Oh Gott sind die in Berlin schlecht geschult. Wenn Du einen Wahlschein für Briefwahl hast, steht ein W im Wahlregister., damit Du nicht doppelt wählst.
Wenn Du dennoch mit Deinem Wahlschein im Wahllokal wählen willst, geht das, unter Abgabe des Wahlscheins, mit entsprechenden Einträgen bei den Anzahlen und in der Niederschrift. Ohne Wahlschein kannst Du dann logischerweise nicht wählen.
Also – zum Thema falsche Reihenfolge der Stationen bei der Wahl.
Immer erstmal schauen, wer genau da den Fehler gemacht hat. Ich bin mehrfach Wahlvorstand gewesen, auch bei der Wahl 2021.
Die als falsch monierte Reihenfolge ist die in den Schulungsunterlagen vorgeschriebene Reihenfolge! Jeder halbwegs erfahrene Wahlvorstand ignoriert diese und lässt natürlich als allererstes klären, ob die Person hier wählen darf – bevor Unterlagen ausgegeben werden.
Der Fehler liegt also in den Durchführungsvorschriften – und ihr hattet da vermutlich einen recht unerfahrenen Vorstand, der/die sich genau an die Vorschriften halten wollte.
Kann man sich nicht ausdenken den Quatsch. Die Idee hinter der späten Abfrage scheint zu sein: je näher am Einwurf in die Urne das geprüft wird, desto sicherer wird verhindert, dass da unbefugte was einwerfen. Ist natürlich Quatsch.
Beste Geüße, Chr.
Nein, nein, die Reihenfolge ist richtig so.
Man kann erst bei Abgabe abkreuzen. Davor können die Wähler:innen sich umentscheiden und gehen und erst später wieder kommen. (z.B. um nochmals über Kandidierende nachzulesen) Auch kann man Ersatzstimmzettel bekommen oder sonst was, was verwirrt und erschwert sicherzustellen, dass eine Person nur einmal wählt.
Zum Vorab prüfen reicht die Wahlbenachrichtigung. Da steht das wesentliche drauf, da im Wählerverzeichnis zu prüfen kostet Zeit und da nur selten jemand fehlerhaft da ist, ist das umständlich im Prozess und hält auf.
Reihenfolge ändern ist ein Wahlfehler!
Ich fand euren Umgang mit dem Thema bildbasierte Gewalt (Kapitel 7; 0:42:09 bis 0:48:13) sehr schwach:
1. Das Verbreiten pornographischer Bilderzeugnisse ohne das Einverständnis der Abgebildeten ist, unabhängig davon, ob es sich dabei um „Fakes“ handelt, Gewalt. Aus dem von euch verlinkten Netzpolitik-Artikel geht das noch hervor, im Gespräch aber wird nur diskutiert, dass es sich bei den Bildern um „Fälschungen“ handele. Das Problem, um dass es hier aber gehen sollte, ist die bildbasierte Gewalt, die auch ohne Microsoft Designer – bspw. mit GIMP, iCloud-Hacks oder Vertrauensbruch in einer Beziehung – verübt werden kann, und die als solche auch nicht nur ein Problem von Xitters Moderationspolitik ist. Gewaltvoll bearbeitete Bilder von spanischen Schüler:innen in verschlüsselten Whatsapp-Chats sind ja genauso ein Problem, da helfen auch von Microsoft Designer in der Datei hinterlassene unsichtbare Wasserzeichen nichts (höchstens zur Zuordnung zwecks Strafermittlungsverfahren, wie wir das schon von Drucker-IDs kennen, da ist der Schaden dann ja aber schon entstanden).
2. Insbesondere Tims Kommentar, immerhin habe Fr. Swift jetzt „plausible deniability“ sollten „echte“ Erotikfotos von ihr geleaked werden, ist völlig daneben und unsolidarisch mit den Opfern bildbasierter Gewalt. „Sich einfach zurücklehnen und sagen, egal“ ist eben nicht das, was Betroffene durchmachen. Egal ob es sich dabei um „Fakes“ handelt oder nicht sind die Folgen u.a. Scham, Vereinsamung sowie Traumatisierung und gehen teilweise bis zum Suizid. So führt auch allein die Existenz des Phänomens, also die wahrgenommene Gefahr, Opfer zu werden, zu einem „chilling“-Effekt, durch den sich v.a. weibliche Personen eher dagegen entscheiden, in der Öffentlichkeit aufzutreten, oder sich in Reaktion auf entsprechende Angriffe daraus zurückziehen. Zu den Folgen bildbasierter Gewalt für Opfer/Überlebende s. auch: https://doi.org/10.1177/0964663920947791
Zum „chilling“-Effekt sexualisierter Gewalt: https://www.genderit.org/feminist-talk/beyond-deterrence-understanding-chilling-effects-technology-facilitated-gender-based
3. Richtig schlimm fand ich dann den Kapitelabschluss, in dessen Überleitung Tim den „Witz“ macht, er würde sich lieber mit den gefälschten pornographischen Darstellungen Fr. Swifts auseinandersetzen als mit dem nächsten Thema (Verfassungsschutz), denn „die finde [er] irgendwie spannender“. Diese Aussage lässt sich auf zweierlei Weise deuten: Entweder hier ist das Thema bildbasierte Gewalt gegen Fr. Swift insgesamt gemeint – was in dieser offenen Formulierung für sich schlimm genug wäre – oder Tim meint tatsächlich, dass er sich lieber die Bilder ansehe, mit deren Löschung Xitter offenbar überfordert war; letzteres würde – ganz in der Tradition der Bild-„Journalist:innen“ (die beim iCloud-Hack von Schauspieler:innen 2014 unter dem Titel „Hacker stellen heiße Nackt-Bilder der Stars ins Netz“ Bildbeschreibungen abdruckten und vor den rechtlichen Risiken einer Weiterverbreitung warnten) –, statt die sexualisierte Gewalt als solche zu benennen, „rape culture“ (also die gesellschaftliche Akzeptanz und Normalisierung sexualisierter Gewalt) reproduzieren.
Zusammenfassend: Wenn ihr euch mit Themen wie sexualisierter Gewalt auseinandersetzt, dann ladet euch bitte Betroffene und/oder Expert:innen wie Chris Köver oder Anne Roth ein, aber verhöhnt zumindest nicht die Opfer/Überlebenden mit „Witzen“, dass ihre Erniedrigung immerhin „spannender“ sei als Rechtsextreme beim Verfassungsschutz.
Abgesehen davon, dass ich eine derartige Aufweichung des Gewaltbegriffs zu propagandistischen Zwecken, um die Empörung gegen Gewalt für sich mitzunehmen oder sich selbst als sensibel herauszustellen, sehr fragwürdig finde (man keine eine Tür mittels Gewalt öffnen – Gewalt darf man nicht per se als zu ächtende Handlung verstehen), habe ich die Aussage, man wolle lieber bei Tailor Swift verweilen keineswegs so verstanden, dass man beim Thema Fakebilder bleiben will.
Eine derartige Unterstellung könnte auf übersteigertem Misstrauen beruhen.
Ich mache hier mal auf einen ÖR-Podcast aufmerksam: „Springerstiefel“ vom MDR.
Link: https://www.ardaudiothek.de/sendung/springerstiefel-fascho-oder-punk/94811946/
Aus der Beschreibung: „Ostdeutschland in den 90ern: Jugendliche in Springerstiefeln dominieren die Straßen. Wer sich gegen sie entscheidet oder nicht in ihr rechtsextremes Weltbild passt, wird zur Zielscheibe der Gewalt…..“
Vorsicht: es könnten Tränen fließen! Bei mir war es so.
Traurig – aber auch Hoffnung.
Meine Intuition bzgl. GenAI-Watermarking läuft genau entgegengesetzt zu Linus‘:
Beim Markieren des generierten Contents handelt es sich technisch ja um einen steganografischen Covert Channel, der in der Tat kaum ausreichend robust gestaltet werden kann. Der praktische Nutzen liefe deshalb auf wenig mehr als das freiwillige Mitliefern eines entsprechenden Metatags hinaus.
Die Authentifizierung originalen Contents andererseits würde durch klassische Signaturverfahren realisiert, die – bei entsprechend konsequentem Timestamping und Revocation geleakter Private Keys – eine ungleich stärkere Garantie für die Vertrauenswürdigkeit einer Quelle und damit langfristiger Vertrauensbildung böten.
Kleine Berichtigung am Rande. Tim sagte Sigmund Jähn käme wie Ulf Merbold aus Thüringen (oder legte das nahe) . Das Dorf mit dem tollen Namen Morgenröthe – Rautenkranz aus dem er stammt liegt aber in Sachsen
Ich sagte „mehr oder weniger aus der gleichen Ecke – Thüringen, Erzgebirge“. Ich glaube das trifft es schon ganz gut. Die beiden Geburtsorte liegen nur 30km Luftlinie auseinander.
Sowohl Greiz, als auch Morgenröthe-Rautenkranz liegen beide im Vogtland, das Erzgebirge beginnt weiter östlich.
Gibt es irgendwo einen Artikel zu der von Linus genannten Zahl rechtswidriger Datenabfragen bei der Polizei?
Quelle selbst nicht, aber an anderer Stelle
„Nach einer Umfrage der „Welt am Sonntag“ wurden deutschlandweit seit 2018 mehr als 400 Ordnungswidrigkeits-, Straf- oder Disziplinarverfahren wegen unberechtigter Datenabfragen durch Polizeibeamte eingeleitet – und das noch ohne Zahlen aus Sachsen-Anhalt, die nicht verfügbar waren. Das wirft Fragen auf.“
https://rsw.beck.de/aktuell/daily/meldung/detail/unklare-datenabfragen-am-polizeirechner-wie-kann-das-passieren
Der Artikel der WaS stammt vermutlich aus 2020 [1], d.h. 400 Fälle in den 2 Jahren 2018 bis 2020.
[1] welt.de über den Artikel der WaS:
https://www.welt.de/politik/article212217181/Polizei-Mehr-als-400-Verfahren-gegen-Beamte-wegen-privater-Abfragen-an-Dienstrechnern.html
Die Frage, was genau denn Nicht-Live-Gesichtserkennung heißen könnte, stellt Anke Domscheid-Berg von den Linken auch immer wieder der Regierung. Laut ihrem Podcast (Der ADB-Podcast) bisher ohne Erfolg.
Vielen Dank wieder einmal für eure Sendung!
Ich würde gern noch mal zu den Quellensignaturen bei Bildern einhaken, weil ich mir nicht sicher bin, ob sie nicht doch dazu beitragen könnten, Deep Fakes zu verhindern.
Technisch könnte ich mir vorstellen, dass es bereits genügen könnte, wenn der Private Key auf dem Kamera-Chip erzeugt wird und diesen gar nicht verlässt (allenfalls resettet werden kann). Bei Bedarf kann man eine Signaturkette erzeugen – Verfahren mit entsprechender Spezialhardware gibt es und werden seit langer Zeit auch erfolgreich eingesetzt. Apple nutzt solche Infrastruktur seit Jahren, um die Integrität von deren Systemen sicherzustellen und bislang lief das zumindest ohne große Probleme. Selbst für die Nachbearbeitung fänden sich Lösungen – es würde ja schon mal reichen, wenn das Originalmaterial für alle oder für einen vertrauenswürdigen Kreis von Leuten zugänglich ist.
Natürlich setzt es voraus, dass die Hersteller diese Prozesse beherrschen. Und natürlich ist das auch kein Allheilmittel – aber ich denke es ist ein Baustein von vielen (nebst Sekundärquellen, Plausibilitätschecks usw.).
Dagegen ist das Watermarking von Deepfakes völlig nutzlos. Wir werden in absehbarer Zeit genug Implementierungen sehen, die nicht von großen Konzernen stammen. Der Zug ist schon abgefahren…
Und was genau würde mich davon abhalten n fake abzufotografieren und so n signiertes bild zu erhalten?
Hahaha schön, dass so Gesetzesänderungstexte eigentlich nur git diff in Anwaltsprosa ist :D
Ich bin gerade eben beim Hören der Passage nur deshalb hierher gekommen, um das zu Kommentieren. Aber dann sekundiere ich hier jetzt eben. =)
Bei der UN Cybercrime Convention war mein erster bei der „Pflicht zur Mitwirkung bei Wissen über ein Computersystem“ als erstes an Beugehaft für Leute mit „Wissen über das Passwort für die Festplattenverschlüsselung“ gedacht.
Die Konvention ist sicher flexibel genug, um diese Interpretation in lokales Recht zu gießen.
Zur Magnetschwebebahn. Es ist ja schön, dass in Berlin die Idee verworfen wurde. In Bayern jedoch ist diese Idee nicht totzukriegen. Nachdem Edmund Stoiber noch 2000 von einem Transrapid vom Münchner Flughafen zum Hauptbahnhof fasselte, will nun Markus Söder einen „Mini-Transrapid“ durch Teile von Nürnberg bauen lassen.
Vor wenigen Tagen wurde bekannt, dass eine Machbarkeitsstudie zu 90% vom Freistaat finanziert werden.
Hallo an alle,
Wenn ich mich richtig erinnere, habt ihr in LNP 467 darüber geredet, dass das e-Rezept ab 2024 verpflichtend wird und dass es opt-out sein wird. Könnt ihr bitte das Thema noch einmal aufgreifen? Vielen Dank!
Hier ein Nachtrag zu Windows 3.11 in ICE3 und ICE T auf YouTube:
https://youtu.be/BB2OUia5kSg?si=hUGLuTEzPLRMawlS
Moin,
erstmal vielen Dank für die tolle Sendung!
Witzigerweise habe ich gerade kürzlich einen Beitrag der HAW in Hamburg dazu gelesen: https://www.haw-hamburg.de/detail/news/news/show/unsichtbare-wasserzeichen/. Leider ist alles was ich dazu gefunden habe ziemlich unkonkret, der Beitrag im hamburg-journal ist auch eher einfach gehalten.
Was mich aufhorchen ließ war die Mitarbeit der Chainstep GmbH, diese beschreibt sich auf ihrer Karriere-Seite u.a. mit dem folgenden Satz: „Seit Mai 2017 unterstützen wir Unternehmen unter dem Motto „Wir bringen Blockchain in die Realwirtschaft“.“ Bei mir weckt das zunächst die Befürchtung, Blockchain würde hier pauschal auf jedes Problem geworfen, das bei drei nicht auf dem Baum ist.
Das aber alles nur als kleine Informationsbeiträge, das einzuordnen traue ich mich angesichts der wenigen Informationen nicht. Es sei aber gesagt, dass das Projekt „Robuste Signatur audiovisueller Medien gegen (deep) fakes (SaM-fake)“ heißt, und ich daher nicht damit rechne, dass die hier auch noch eine Blockchain rein weben.
Zum Thema Kennzeichnung KI-generierter Bilder: Die sinnvollste Maßnahme, die dazu meiner Auffassung nach umgesetzt werden sollte, ist das Signieren von Bildern durch (mehr oder weniger) vertrauenswürdige Quellen, z.B. Verlage. Damit wird nicht grundsätzlich verhindert, dass CGI-Bilder im Umlauf sind und man diese nicht von echtem Material unterscheiden kann, aber man hätte immerhin Material, dessen Urheberschaft bestätigt ist und das man dann als so vertrauenswürdig einstufen kann, wie weit man eben dem Urheber vertraut.
Das ganze ließe sich sogar über die bereits existierende Zertifikatsinfrastruktur für Domains wunderbar abbilden und die entsprechenden Domains könnten als Identifier dienen.
https://imgur.com/a/YHHAMDz
-soso
Von wem ist der Ausklang?
Zum Hackertool fällt mir immer wieder der gemeine Pflasterstein ein. Eigentlich ist die Verwendung von Pflastersteinen zu verbieten. Die braucht keiner. Auf Asphalt fährt es sich eh besser. Also man könnte Pflastersteine zum Bau von Straßen und Wegen nutzen. Man kann sie aber auch zum Werfen nutzen und womit Menschen verletzt werden können. Eine klare Straftat.
Ich muss sagen, die Ausführungen zum AI-Act decken sich nicht so ganz mit dem Bild, das ich aus dem stetigen Verfolgen des Themas gewonnen habe:
Es klingt so, als wäre der AI-Act ein ziemlich schlechtes Gesetz mir nur ein paar guten Regelungen. Ich würde es eher anders herum sehen: Der AI-Act ist eigentlich ein gutes Gesetz mit vielen guten Regelungen. Schade ist nur, dass bestimmte Dinge nicht in ihn aufgenommen wurden, das hätte ihn noch besser gemacht.
Den offenen Brief „AI Act verabschieden“ kann ich gut verstehen, insbesondere zum jetztigen Zeitpunk: Wir befinden uns in der letzten Phase des Gesetzgebungsprozesses, grundsätzliche Dinge können jetzt nicht mehr wirklich geändert werden. Würde der Rat nicht zustimmen (mittlerweile hat er ja) wäre es unwahrscheinlich, dass der AI-Act noch vor der EU-Wahl verabschiedet wird. Dann würde es erstmal wieder eine ganze Weile dauern, bis man an so einem Punkt angekommen ist. Solange gäbe es keinen Grundrechtsschutz und Unternehmen wüssten nicht, worauf sie sich einstellen müssen.
Zu euren Vermutungen, dass der AI-Act von bestimmten Akteuren mit der Zeit sabotiert und der Fokus verlagert wurde: Ich habe nicht den Eindruck, dass sich die Diskussion mit der Zeit groß verschoben hat. Wie üblich hat das EU-Parlament ein paar gute Punkte beigesteuert, der Rat ein paar schlechte und am Ende kommt irgendwas in der Mitte raus.
Insbesondere lag die ganze Zeit der Fokus des AI-Acts auf der Regulierung von Privaten, die Regulierung von staatlicher Überwachung war eher ein Bonus. Das erklärt sich auch mit der Zuständigkeit der EU, die den Fokus auf den (digitalen) Binnenmarkt legt, Sicherheit ist eher Aufgabe der Staaten, da gibt es auch weniger das Bedürfnis nach einem einheitlichen Rechtsrahmen.
Es gibt übrigens auch nicht die Frage, soll biometrische Massenüberwachung erlaubt sein, ja oder nein. In der ganzen Diskussion geht es darum, wie stark die Regulierung sein soll, auch im aktuellen Kompromiss gibt es Vorschriften dazu, sie sind nur eben nicht so streng, wie sie sein könnten.
Das ist also eine etwas verkürzte Darstellung wie auch den komplexen Regelungsgehalt des AI-Acts mit den Worten „es gibt auch positive Aspekte“ zusammenzufassen.
Ehrlich gesagt sind Erläuterungen zu Gesetzgebungsverfahren im Logbuch oftmals eher unvollständig.
Ich verstehe, dass man nicht immer alles komplett ausbreiten kann, aber wenn man eine fundierte Bewertung abgeben will, sollte man die Sache vielleicht umfangreicher betrachten, zumindest im Hintergrund.