Ein Logbuch:Netzpolik Spezial über AlgorithmWatch und dem Netzaktivismus zu Automatisierten Entscheidungen

Linus setzt mal aus und Tim spricht daher heute mit Matthias Spielkamp über die Arbeit und Themen von AlgorithmWatch, eine 2017 gegründete Organisation, die sich auf die Fahnen geschrieben hat, den komplizierten politischen Prozess rund um Algorithmen und Künstliche Intelligenz zu moderieren und aktivistisch zu begleiten, um Grundrechte und Datenschutz auch in einer Zeit zu gewährleisten, in der zunehmend "intelligenten" Softwaresysteme die Aufgabe für Vorauswahl und Entscheidungen überlassen wird.

Tim Pritlove

Matthias Spielkamp

Für diese Episode von Logbuch:Netzpolitik liegt auch ein vollständiges Transkript mit Zeitmarken und Sprecheridentifikation vor.

Bitte beachten: das Transkript wurde automatisiert erzeugt und wurde nicht nachträglich gegengelesen oder korrigiert. Dieser Prozess ist nicht sonderlich genau und das Ergebnis enthält daher mit Sicherheit eine Reihe von Fehlern. Im Zweifel gilt immer das in der Sendung aufgezeichnete gesprochene Wort. Formate: HTML, WEBVTT.

Transkript

Tim Pritlove 0:00:00

Guten Morgen Matthias.

Matthias Spielkamp 0:00:00

Guten.

Tim Pritlove 0:00:23

Logbuch-Netzpolitik Nummer 432 vom 17. Juni 222 und die Advanced Hörer und wir haben ja eigentlich nur äh Advanced Hörerinnen und Hörer, die wissen schon, Linus ist heute nicht dadenn der hat was Besseres zu tun. Für mich eine gute Gelegenheit ein ähSpezial einzuwerfen, was Sie schon ganz lange auf meiner Liste habe und äh von dem ich erst vor ein paar Tagen, als wir das dann ausgemacht haben, äh erst so richtig begriffen habe, wie gut das auchgerade passt. Also sage ich erstmal hallo, Matthias. Herzlich willkommen bei Netzpolitik.Genau, Matthias Spielkamp und du bist ähm den äh Netzbewegten,sicherlich schon seit längerem auf die ein oder andere Art und Weise ein Begriff, denn du turnzt ja nun in dieser Landschaft auch schon ganz schön lange rum, ne?

Matthias Spielkamp 0:01:16

Bin auch so ein alter Sack, genau.

Tim Pritlove 0:01:17

Ich weiß gar nicht, wann hast du denn so angefangen, aktiv zu werden.

Matthias Spielkamp 0:01:24

Ich würd sagen zweitausenddrei.

Tim Pritlove 0:01:26

Aha und das war dann schon zum Thema Urheberrecht oder war das noch was anderes?

Matthias Spielkamp 0:01:33

Genau, so würde ich das sagen. Also jetzt aus dieser Perspektive der Hörerinnen und Hörer von dem Logbuch. Ich habe schon,Internet länger zu tun, da habe ich im Studium schon von erfahren, weil ich das Vergnügen hatte in den USA zu studieren und das sah auch schon 1995 eine Rolle spielte oder 94 sogar schon in meinem Studium und ich habe dann auch äh schon,zum Beispiel Workshops zu dem Thema gegeben, aber dass ich jetzt so netzpolitisch auf eine Art aktiv wurde, das war dann so um 203 rum zu diesem Thema äh Urheberrecht.Copyright Wars.

Tim Pritlove 0:02:06

Und es ist übrigens ich habe grad mal nachgeschaut, schon fast 12 Jahre her, dass wir uns zu diesem Thema mal im Rahmen eines CRE unterhalten haben. CRE einhundertvierundsechzig, wo wir äh in zwei Stunden diese diese ganze Problematik der UrheberrechtsRegulierung und Definition und so weiter durchgenudelt haben und ich hatte damals schon so den Eindruck, Alter, das ist äh ein Thema, da kann man sich echt die Zähne dran ausbeißen. Wie kann man da überhaupt so lange dranbleiben? Und du bist ja dann noch sehr lange dran geblieben, oder?

Matthias Spielkamp 0:02:37

Ja, also jetzt, wann war das? Wann haben wir uns.

Tim Pritlove 0:02:39

Oktober 20 10.

Matthias Spielkamp 0:02:42

Ja okay, da war ich dann schon noch eine Weile dabei. Ja, ja, ja, doch. Fühlt sich an, als sei es gestern gewesen.

Tim Pritlove 0:02:48

Auf jeden Fall hast du hast du das mehr als eine Dekade lang äh begleitet das Thema.

Matthias Spielkamp 0:02:55

Bis ich dann völlig entnervt aufgegeben habe.

Tim Pritlove 0:02:57

Aber darum soll's heute nicht gehen, sondern du hast ja jetzt ähm jetzt hätte ich fast gesagt, die Seiten gewechselt. Das ist äh natürlich nicht der Fall, sondern äh du hast dich eines anderen Themenraums ähangenommen und jetzt erzähl mir doch mal wie es dazu kam, dass äh du dich mit Algorithmen auseinandersetzen wolltest.

Matthias Spielkamp 0:03:17

Ja, tatsächlich hat's ziemlich viel mit dem zu tun, was ich vorher gemacht habe. Ich habe einmal ein großes ähm große Lust gehabt, dieses ganze Internet da zu erkunden und und zu verstehen,habe das aber am Anfang überhaupt nicht als so ein wichtiges Politikfeld begriffen. Also es war mir.Natürlich theoretisch irgendwie klar, ne, dass das, was Weltveränderndes sein würde, aber,Äh ich hatte nicht selber den Anspruch das mitzugestalten, sondern eher zu nutzen. Ich habe dann so zum Beispiel fürn und Journalisten Seminare dazu gemacht, wie sie am besten,suchen online und recherchieren und wie sie auch ihre Webseiten konzipieren, damit die Informationen gut rüberkommen und erst als ich aber angefangen habe mit diesem Urheberrecht rumzumachen, da habe ich verstanden,wahnsinnig politisch das Ganze ist und was die Regulierung für einen Einfluss da drauf hat,und natürlich welcher welchen Einfluss auch die Digitalisierung selber auf die Regulierung hat, ne? Und ähm.In dem ganzen Zusammenhang habe ich mich dann viel mit der Zukunft des Journalismus beschäftigt welche Geschäftsmodelle können überhaupt noch funktionieren unter solchen Bedingungen und dergleichen mehr und dann,kam eben auch irgendwann dieses Thema,Roboterjournalismus auf, ja? Also das wird jetzt dann alles automatisch gemacht und wir verlieren alle unsere Jobs, weil irgendwelche Maschinen die Texte schreiben und,Das fand ich durchaus so interessant im Sinne von okay, was steckt dahinter und habe eine Veranstaltungsreihe dazu äh kuratiert, wie man heutzutage so schön sagt und,Ähm habe dann aber doch auch ziemlich schnell festgestellt, boah, das Thema ist eigentlich ziemlich uninteressant, weil ähm so viel wird da nicht passieren. Also da wird eine Menge passieren, aber es ist nicht wirklich relevant, weil ähm.Also komme ich gleich nochmal drauf, warum das auch zum Teil jedenfalls ein Irrtum war, aber jedenfalls ist es nicht relevant in dem Sinne. Die Journalisten werden alle ihre Jobs verlieren, sondern was halt automatisiert wird, sind so Standard.Texte wie Wetterbericht, Sport Reportage, also Reportage noch nicht mal, sondern äh Spielbericht und.Jetzt Börsennachrichten oder so was in der Art,Und in dem Zusammenhang habe ich aber eben auch auf dieses Feld sozusagen Automatisierung und Algorithmen mehr geschaut und dann bin ich übern Text gestolpert, der,eben sehr viel verändert hat für mich und er heißtBoxes von Nikolas Diakopolus, einem Amerikaner, also ähm,wie wie man durch Journalismus, Algorithmen zur Rechenschaft ziehen kann ähm und wie man eben solche,untersucht. Das war der Titel und das waren,keinen jetzt irgendwie äh sechzigseitiges Ding, sondern ungefähr so zwanzig, 25 Seiten, aber der hat's halt geschafft, sehr gut auf den Punkt zu bringen, warum er der Ansicht ist, dass es zu den Aufgaben von Journalistinnen und Journalisten gehören sollte,sich diese Automatisierungsprozesse anzuschauen, weil die eben gesellschaftlich eine hohe Relevanz haben und weil,genauso wie der Journalismus die Aufgabe hat die Regierenden zu überprüfen, die ähm Unternehmen, also,sozusagen die Mächtigen, the powers at be dazu gehören dann eben auch zunehmend solche automatisierten Verfahren und das hat mich total überzeugt und dann habe ich gedacht, gut, also jetzt habe ich gefunden, was mein,Was meine Perspektive da drauf ist und mein Ansatz.

Tim Pritlove 0:06:41

Ich erinnere mich jetzt, wo du das erwähnst, dass dass es mal so eine Zeit gab, wo wir so dieses ganze oh,Computer äh erfassen jetzt sozusagen verfassen die Artikel, ja, dass das so eine.Weiß ich nicht, so eine so eine ja so ein so ein Szenario war, was so äh herumgekickt wurde, aberdas gibt's ja in dem Sinne auch, aber es hat eigentlich nie wirklich äh große Relevanz gehabt und letztlich hast du ja den Spieß umgedreht und gesagt, das ist eigentlich mehrmir eine Aufgabe für den Journalismus sich mit dem Thema als solchen zu beschäftigen und jetzt nicht so sehr, dass jetzt der Journalismus unmittelbar von diesem Algorithmus selbst bedroht wird, sondern es ist einfach eine Gesamtaufgabe für die Gesellschaft und damit natürlich auch für den Journalismus einfach wacher äh auf die Probleme zu schauen, die Algorithmen und,quasi also Systeme, Computersysteme ähm ja was die für einen Schatten werfen auf auf unsere Welt.

Matthias Spielkamp 0:07:34

Ja genau, also ähm ich habe ja gesagt, ein bisschen habe ich mich geirrt, weil ich schon finde, dass man diese Automatisierung eben auch für richtig gutenutzen kann. Äh zum Beispiel habe ich mal ein Projekt auch mitgegründet, das es immer noch gibt, das heißt mobilsicher Punkt DE. Da geht's um Berichterstattung äh über Sicherheit bei Mobilähm devices, ne? Also anfangs auch Tablets noch am Ende waren's dann schon nur noch Smartphones und da äh haben die Kollegen, da war ich dann schon nicht mehr sostark dabei. Ähm Kolleginnen und Kollegen haben ein System entwickelt, mit dem automatisiert überprüft wird, welche Daten,die ähm Apps an Server senden. Äh also richtig dynamisch. Das heißt wirklich, wenn die im Betrieb sind, das ist schon sehr besonders, ne und,Was Sie dann auch gemacht haben, das war dann schon meine Idee. Ich habe die nicht umgesetzt, aber was ich dadran dann eben auch so einen richtig geilen Aspekt fand war,dass man, wenn man dann wirklich das skalieren kann, wenn man viele hundert solcher Apps überprüfen kann, dass man natürlich mitm Schreiben der Artikel nicht mehr hinterherkommt.Ne, dieser Berichte darüber, dass diese Berichte dann aber schon ähnlich standardisiert werden können wie halt ein Wetterbericht,und tatsächlich ist dann ein Teil von diesem Angebot eben auch, dass diese Testberichte automatisiert verfasst werden.Und da kann man auch auf eine Art den Spieß umdrehen und sagen, da kann man dann mit Automatisierung auch mal was erreichen, was man eben sonst mit vertretbarem Aufwand nicht erreichen können.Könnte und dann auch mal eben diesen,äh Risiken ähm Zahlen auf der einen Seite, ne, wir werden da also über Häuf mit tausenden von Apps,Kann man dann auch mit solchen Mitteln zumindest versuchen, beizukommen.Aber ja, du hast schon recht, also insgesamt diese ganze Frage nach der Automatisierung das war wird massiv eingesetzt heute. Katalogtexte, Reiseberichte und so weiter. Das ist also inzwischen total normal geworden.

Tim Pritlove 0:09:31

Läuft aber eher unter Database Publishing, so habe ich das äh.

Matthias Spielkamp 0:09:35

Ja genau und und da würde ich schon auch in Anspruch nehmen, dass ich mich da dass ich mein Urteil da nicht so revidieren muss, also für den Journalismus den wir als Journalismus verstehen, hat das nicht so wahnsinnige Auswirkungen gehabt.

Tim Pritlove 0:09:46

JaIch glaube, die eigentliche Gefahr, die so ein bisschen im Raum war damals, als wir noch alles für möglich hielten, äh nur nicht das, was wirklich passiert. Ähm war so dieses so, ah, jetzt jetzt kommt so die Intelligenz und versucht irgendwie hier die Welt zu interpretieren.Ja und äh dem dem menschlichen Hirn wird jetzt hier die Entscheidung entzogen. Ich glaube, das war so ein bisschen die Kimera im Raum, ne.

Matthias Spielkamp 0:10:10

Mhm, genau.

Tim Pritlove 0:10:11

Ja gut, aber letzten Endes ähm ja, hast du dich dann einem spezifischen äh Thema eben diese Algorithmen äh dann zugewandt.Und dann kam's zur Gründung von wie das hat ja dann auch nicht so lange gedauert glaube ich von der ersten Idee bis bis du dann da gelandet bist.

Matthias Spielkamp 0:10:34

Nee, das ging also also ja das war folgendermaßen. Ich habe dann ähm mit Lorenz Mazart, einem jemanden, der ja sicherlich in der Szene auch sehr gut bekannt ist.

Tim Pritlove 0:10:45

Journalist, genau.

Matthias Spielkamp 0:10:46

Journalist gearbeitet hat, genau, ne ähm habe ich dann rumgehirnt und es gab damals eine Ausschreibung von Erfolgswagenstiftung zu Datenjournalismus und wir haben uns die angeguckt und wir fanden halt beide.Ey, nee. Da da äh das ist eigentlich.Äh auserforscht, wenn man so will. Ja also man kann da ganz tolle Ideen entwickeln und konkrete Anwendungen,auch sich einfallen lassendass man da jetzt so eine große Ausschreibung macht und sagt, wir müssen uns jetzt da einen Journalismus angucken, in so einer Kombination aus Wissenschaft und Journalismus. Da haben wir beide gedacht, das kommt eigentlich sechs Jahre zu spät, wie so vieles in Deutschland.Muss so zweitausend äh vierzehn, 2015 gewesen sein, ne? Und ähm.Dann haben wir aber gedacht, okay, wir probieren einfach was anderes. Wir schreiben einen Antrag.Indem wir eigentlich Augustic Countability Reporting machen und dann aber sagen, auch mit Daten journalistischen Mitteln und in der Daten journalistischen Aufbereitung.Und das haben wir auch gemacht. Also wir haben den Antrag geschrieben zusammen mit ein paar Kollegen und Kolleginnen und,ist abgelehnt worden, ja und meiner Ansicht nach.Haben die einfach nicht kapiert was wir wollten. Kann man natürlich immer sagen ja äh ihr wart einfach zu blöd, dass gut genug aufzuschreiben, dass sie das verstehen konnten. Da könnte ich jetzt viel drüber reden ähm aber jedenfalls haben wir das Geld nicht bekommen,Wir haben beim Schreiben dieses Antrags und beim,davon, was wir eigentlich machen wollten, haben wir schon gemerkt, wow, da steckt echt was drin. Und dann war es Lorenz, der damals.Dieser Idee kam, ich behaupte ja immer, es gibt eine E-Mail, die wir aber beide nicht finden können. Er meinte, er hat mir das nur am Telefon erzählt. Jedenfalls hat er ähm den Twitter handle Elvis im Watch gesichert und die Domain Elgarison Watch Punkt ORG.Als ich das gehört habe, habe ich gedacht, ja, genau, jetzt weiß ich, weiß ich, womit ich die nächsten Jahre meine meine Zeit verbringen will.

Tim Pritlove 0:12:53

Bevor wir darauf kommen, äh kurz noch zu diesem Datenjournalismus, weil ich finde es ja an sich war das dann doch eine sehr äh produktive Zeit. Also das ähmusste vielleicht nicht weiter erforscht werden, aber wenn ich mir jetzt so anschaue was in den letzten zwei Jahren gerade in Bezug auf die Coronaberichterstattung ähm mittlerweile Standard geworden ist, newie sehr Daten auch tatsächlich die journalistische Arbeit jetzt äh prägen, indem halt genau drauf geschaut wird, die Medienhäuser entsprechende.Ähm Tools äh haben, ne, also da Auswertungsketten äh zu bauen in der Lage sind, brauchbare Visualisierung, interaktive Visualisierung, Teil der Berichterstattung sind. Das ist schon ein Schritt nach vorne.

Matthias Spielkamp 0:13:36

Auf jeden Fall. Ich das wäre jetzt, ich will da nicht missverstanden werden. Vielleicht habe ich mich nicht gut genug ausgedrückt. Ich äh,sage nicht das mit dem Datenjournalismus ist alles Quatsch. Im Gegenteil, ich habe mich ja selber damit beschäftigt, habe selber versucht auch in,Seminaren und Workshops dafür zu werben, dass Journalistinnen und Journalisten da aktiver werden. Ich finde das eine tolle Entwicklung. Ich bin eben der Ansicht, dass zu dem Zeitpunkt, als die Volkswagenstiftung diese Ausschreibung gemacht hat,da äh die einfach ihr Geld auf was anderes hätten verwenden sollen, weil da ähm die der.

Tim Pritlove 0:14:07

Da war der Zug schön aus dem Bahnhof, ne?

Matthias Spielkamp 0:14:09

Ja der war so, der war schon so erwachsen der Datenjournalismus, dass es das eigentlich nicht mehr brauchte. Die hätten das fünf Jahre früher machen müssen, ja und deswegen haben wir gesagt, wir reichen da was anderes ein.

Tim Pritlove 0:14:21

Okay und dann war quasi der Name Algorishm Watch geboren. Damals gab's ja eine Menge äh Watch Blogs. Das war so glaube ich so ein bisschen die Zeit, so CDU-Watch hier und weiß nicht, gab noch so diverse alles musste auf einmal beobachtet werden.Jetzt wird sozusagen zurücküberwacht. Ja und Ivorism Watch schaut auf Algorithmen.

Matthias Spielkamp 0:14:42

Genau. Ja, also wir haben ja natürlich da geborgt, ähm ich ich weiß auch gar nicht,Vielleicht finden andere das auch irgendwie ein bisschen banal, weil wie du richtig sagst, es gab ja Human Rights Watch schon und Abgeordneten Watch gab es schon und Foodwatch gab es schon, hätte er sagen können, oh Alter, das ist doch abgeschmackt,aber irgendwie hat's für mich funktioniert, ja. Ich habe da drauf geguckt und habe gedacht.Werden Leute verstehen und da werden Leute also in einer bestimmten Community natürlich erstmal nicht in einer großen Öffentlichkeit, ne, aber in.

Tim Pritlove 0:15:10

Hab's gleich verstanden.

Matthias Spielkamp 0:15:11

Ja, ne und es geht vielen so und das war natürlich eine Chance, weil,Schon jetzt lange genug da zu dem Zeitpunkt auch in dieser Zivilgesellschaft und Gemeinnützigkeit unterwegs war, dass ich wusste, man braucht halt eine coole Story,um auch Geldgeber zu überzeugen, dass da Musik drin ist, denn die braucht man. Ich wollte das nicht,sage immer, ich, ich, ne, aber ich ist schon völlig klar. Wir haben das in dem Team gemacht, aber was für mich wichtig ist und war.Ich war einfach fest davon überzeugt, dass wir das nicht als so eine Art.Grasrudes ähm äh hier ehrenamtliche Initiative machen sollten. Das war nötig am Anfang, weil dir natürlich am Anfang niemand Geld dafür gibt. Aber es war von Anfang an das Ziel, dass wir da draußen eine,professionell agierende, finanzierte Organisationen machen, die den Leuten, die da arbeiten, Geld dafür bezahlen kann, dass die da arbeiten, weil es nämlich sonst einfach versackt, ja. Es gibt viele,gut gemeinte äh Initiativen, die von richtig guten Leuten gemacht werden.Ich finde das dann wirklich auch oft schade zu sehen, wie die so vor sich hin mickern und zeigt da nicht irgendwie mit dem Finger drauf und sage, die sind doof, sondern es hat einfach was damit zu tun,dass dann da die Leute fehlen, die sagen, ja aber ich setze mich halt auf den Hintern und schreibe irgendwelche Förderanträge, denn das macht den meisten Leuten keinen Spaß, aber wenn man's nicht macht,dann ähm ja bleibt's eben häufig so ein vor sich hin kreblen.

Tim Pritlove 0:16:42

Mhm. Das heißt, das ist dann auch eure primäre Finanzierungsmethode, Förderung.

Matthias Spielkamp 0:16:48

Bisher ja, genau. Also wir haben dann angefangen Anträge zu schreiben und da will ich auch durchaus mal loben. Äh damals war,Konrad Lischka, den glaube ich auch in der Szene noch viele kennen, der ja ein ziemlich äh prominenter Journalist war, der über Netzpolitik geschrieben hat. Ähm.Der war gerade zur Bertelsmann Stiftung gewechselt und hat da so ein Feld zur Digitalpolitik ausgearbeitet und der hat denen dort,Flow ins Ohr gesetzt, dass das mit den Algorithmen auch ein Thema ist und das eine Organisation ist, die man unterstützen sollte.Und solche Leute sind da halt wahnsinnig wichtig.Man da so jemanden hat, der das kapiert und äh eine Art Mentoring übernimmt in diese Organisationen auch hinein.Denn wenn man da keine Verbündeten hat, dann ähm ja, ist es extrem schwierig. Und.War halt äh von der Bertelsmann Stiftung und von der Hans-Böckler-Stiftung, die eine ähm grade so eine Forschungsausschreibung gemacht hatten zu Digitalisierung, Arbeit. Das waren halt die ersten.Ähm Gelder, die wir bekommen haben und die haben's uns ermöglicht eben, ja, uns selber zu bezahlen und auch Angestellte zu bezahlen und da mal so anzufangen, so eine richtige Organisation aufzubauen.

Tim Pritlove 0:18:03

Mhm. Und die ist auch gar nicht so klein. Also ihr habt äh ein relativ großes Team, wenn man eurer Webseite glauben darf. Da sind auf jeden Fall viele Köpfe äh genannt. Wissen, dass sie alles jetzt hauptamtliche Mitarbeiter oder wie setzt sich das zusammen?

Matthias Spielkamp 0:18:16

Ja, tatsächlich, also wir wir schwindeln da nicht, ne und schreiben da quasi noch den den irgendwie äh äh keine Ahnung irgendwelche freiberuflichen,Leute da drauf mit zwei Ausnahmen ähm und zwar der Andreas Eisenhower, der ist äh bei uns, der macht so Buchhaltungssachen und so. Das ist freiberuflich und Fabio, ein ganz toller Italiener, der auch in Italien richtig prominent ist, ist so ein.So mit 60.000 Twitter-Followern, äh der war lange angestellt bei uns und äh er ist aber nach Italien zurückgegangen und im Moment ist er bearbeitet ja für uns auch freiberuflicher Basis. Aber die anderen, die da drauf stehen, sind wirklich alles Angestellte von.

Tim Pritlove 0:18:53

Mhm. Ah, ich zähle siebenundzwanzig Leute. Das ist ja schon äh ist ja schon fast ein mittelständisches Unternehmen.

Matthias Spielkamp 0:19:01

Ja mit dem mit dem entsprechenden äh Verwaltungsaufwand, der da dran hängt und.

Tim Pritlove 0:19:06

Der aktivistische Mittelstand. Nee, ich finde das, ich finde das ja super. Ich meine äh wir kennen ja auchdie Erfolgsgeschichte von Netzpolitik org, die sich ja quasi so genau aus dieser äh freiwilligen Arbeit heraus äh gestartet äh haben, aber dann halt auch in zunehmenden Maße äh diese Finanzierungsproblematik reingekommen sind.Kraft seiner Popularität und Professionalität ist es ihr auch gelungen, aberhalt auch viele Beispiele, wo das eben dann nicht funktioniert hat und der ganze Aktivismus so ein bisschen äh wieder dahinsiegt.Das ist also eine gemeinnützige GmbH, damit wir's mal gesagt haben, ne, dass es äh so ist es aufgestellt und ja und ihr äh widmet euch der Beobachtung, ja ich weiß nicht, ich will jetzt nicht immer nur das Wort Algorithmenbemühen, weil ich finde, dass allein drückt wahrscheinlich ja auch gar nicht aus, worauf ihr den Blick habt. Was was sind denn eure,Themen, also wie geht ihr jetzt sozusagen an die Arbeit äh heran? Wie wie wie blickt ihr auf dieses Feld und wie organisiert ihr euch da?

Matthias Spielkamp 0:20:09

Das ist natürlich völlig richtig und äh ich kann mir schon vorstellen, dass auch manche, die da grad zuhören, so innerlich ein bisschen die Augen verdrehen,ne, so oh Algorithmen, ne und dann vielleicht auch KI und wat ein Unsinn, äh die äh weil ja doch das auch häufig sehr unspezifisch verwendet wird. Das ist natürlich eine Metapher, ne? Das ist ja klar.Also äh klar gibt es Algorithmen und wir beschäftigen uns auch mit denen aber ähm was.Für uns der Gegenstand ist unserer Beobachtung, ist das, was wir.Beschreiben oder benennen mit automatisierte Entscheidungssysteme, automatisien making Systems, ne? Und das ist natürlich auch ziemlich abstrakt.Aber was wir versuchen damit zum Ausdruck zu bringen, das ist halt ein Begriff, der in einer gewissen äh Wissenschaftscommunity auch schon ziemlich lange etabliert ist,dass es Systeme gibt, an die halt menschliche Entscheidungen im Grunde genommen ausgelagert werden. Da können wir ja vielleicht gleich nochmal ein bisschen genauer drüber reden und,Damit wird auch ein Teil von menschlicher Autonomie an die abgetreten und das ist etwas, was eben weitreichende Auswirkungen haben kann in der Gesellschaft und da,wo wollen wir eben diese Watchdock Organisation sein? Und wir haben das in vier Felder aufgeteilt, thematisch. Das eine ist ähm ADM, nenne ich's jetzt mal einfach, Abkürzung,in der öffentlichen Hand, ja, also wenn die Verwaltung das verwendet, Verwaltung heißt durchaus auch in dem Fall Sicherheitsbehörden.Aber schon auch die ganz normale Verwaltung in Anführungszeichen, es muss also nicht nur um Geheimdienste und Polizei gehen.

Tim Pritlove 0:21:40

Der Staat an sich, ne.

Matthias Spielkamp 0:21:42

Der Staat, genau.Ne ähm und dann äh ADM ähm äh in der äh in the publix vier das ist sehr schwer auf Deutsch zu übersetzen. Wir haben uns mal dann geeinigt auf öffentliche Meinungsbildung.Da geht es dann um die großen Plattformen. Da geht's dann eben um äh Facebook und YouTube und TikTok und Twitter und so weiter und wie die Algorithmen und solche Systeme verwenden,was das für eine Bedeutung hat für uns und dann ADM am Arbeitsplatz. Ähm das ist,für uns im Moment nicht so, das möchten wir schon auch noch ändern, aber im Moment nicht so diese dieses ähm Gigwork und Plattformwork, so Uber und ähm.Gorillas und so, sondern eher ähm was dann unter dem Begriff äh People Analytics häufig läuft, Systeme, mit denen man.Die Performance von Menschen überwachen kann, versuchen kann, auch sie zu steuern und so weiter und so fort.Das vierte und letzte ist dann Nachhaltigkeit und das ist natürlich auch ein sehr schwammiger Begriff, weil einerseits unter Nachhaltigkeit alles fällt, ja, also wenn man den.UN-Begriff äh vereinte Nationen, ne und Nachhaltigkeitsziele anguckt, dann hat man da 17 verschiedene und da ist im Grunde genommen alles drunter.Und gleichzeitig denken viele Leute über Nachhaltigkeit nur an Energieverbrauch und für uns ist diese Nachhaltigkeit von den Systemen eben fokussiert auf tatsächlich Energieverbrauch aber auch Arbeitsbedingungen die dazu,die die im Zusammenhang stehen damit, dass solche Systeme erzeugt werden,Und ähm auch also soziale und und ähm ökonomische Kriterien. Ja und das sind die vier Arbeitsfelder, bei denen wir gesagt haben, da müssen wir uns mal drauf fokussieren. Ich will vielleicht noch einen Satz sagen, das hört sich ja so an, so das ist ja irgendwie alles,das stimmt längst nicht,Äh ich wenn man zum Beispiel sagt äh hier ähm Gesundheit äh Mobilität ne, automatisiertes Fahren ähm autonome Waffen und so weiter. Da gibt's also schon zahlreiche Felder, bei denen wir sagen,Kümmern wir uns nicht drum, nicht weil wir das uninteressant fänden, sondern weil wir einfach uns fokussieren müssen.Nur um dem vielleicht manchmal entsteht der Eindruck, das ist doch quasi alles, aber das ist längst nicht alles, wo drum wir uns kümmern könnten, hm? Sondern äh schon auch eine Beschränkung.

Tim Pritlove 0:24:03

Ja, ist ein weites Feld und ich denke mal, es gibt auch eine ganze Menge äh Überschneidungen zwischen diesen Bereichen und äh letzten Endes.Dreht sich die Uhr ja auch weiter, also die die Themen erweitern sich ja in gewisser Hinsicht von äh alleine mit Military fahren wir jetzt hier gar nicht erst äh.

Matthias Spielkamp 0:24:19

Nee.

Tim Pritlove 0:24:21

Äh vielleicht ist das auch mal eine ganz gute Idee, das vielleicht auch mal nach diesen äh vier groben Kategorien weiter zu befassen. Vielleicht kannst du ja mal so ein paar Beispiele äh nennenWomit ihr euch dann dann jeweils konkret beschäftigt. Also ja Automats sindäh ADM mal als Begriff und äh los geht's halt mit der öffentlichen Hand, also Public äh Sektor.Sagen wir mal so ein bisschen auch der Klassiker, ne? So äh,wie sagte wow so schön so private Daten äh schützen öffentliche Daten nützen so und beim Nutzen dieser öffentlichen Daten ähm jawird ja auch alles zusammen äh gerührt, aber jetzt kommen wir ja quasi, also wenn du sagst ADM dann ist das ja,ja okay, Algorithmen spielen dann eine Rolle, ne, aber ist natürlich auch schon mal generell die Frage, welche Daten werden überhaupt herangezogen und wie werden sie dann ausgewertet und vor allem sehe ich halt den Punkt so, welche,Wirkmächtigkeit und Rechtskraft hat letzten Endes das, was äh eben die automatisierten Systeme schon mal äh vorauswerten und was wird dann einfach nur noch mit einem Stempel abgesegnet und und wer ist dann schuld, ne?

Matthias Spielkamp 0:25:32

Ja, also da hast du schon einen ganz guten Abriss gegeben, auf jeden Fall. Es ist eben so, dass ähm in der öffentlichen Hand ja,Bei uns jetzt in Deutschland die Digitalisierung nicht sehr weit vorangeschritten ist und viele aus dieser Szene bemängeln das ja auch. Wir wollen ja eigentlich,alle eine viel bessere, besser aufgestellte öffentliche Hand, was Digitalisierung angeht,ja nur jetzt auf die Coronapandemie zurückblicken und ne ähm man kann ja gar nicht mehr drüber lachen über die Faxgeräte in den Gesundheitsämtern.Das ist ja ein Trauerspiel, ne? So und auf der anderen Seite ist es aber so, dass dort, wo die Verwaltung sich stärker schon digitalisiert hat und automatisiert hat, dass eben.Massiv Probleme entstehen. Hm Beispiele etwa äh sind die Niederlande, wo die einfach.Echt einen anderen Umgang haben. Das kann man schon so sagen.Ähm da gibt es nicht so viel kritische Beobachtung und dann werden eben so Systeme entwickelt wie ja SYRI, das ist auch so ein risk äh so ein Risikomanagementsystem.Das ist nicht äh lang eingesetzt worden, aber es ist ausprobiert worden, bis es dann auch durch ein Gerichtsverfahren gestoppt wurde und da wurde zum Beispiel versucht, einfach ganz viele Daten zusammenzuwerfen,um dann mit Hilfe von einem so einem Automatisierungssystem, Analysesystem kann man's natürlich auch nennen,herauszufinden, ob zum Beispiel jemand Sozialleistungsbetrug begeht. Ja, so als Beispiel, da hat jemand eine,Wohnung äh also er hat eine er hat eine Meldeadresse und ähm bekommt jetzt also zum Beispiel eine Wohnsubvention dafür und dann stellen die fest über die Daten vom.Wasserwerk, das sauber gar kein Wasser verbraucht wird. Ja und offenbar wohnt der Typ oder die Frau dann woanders und kassiert aber dafür Subventionen und dann wird da eingegriffen,Das ist halt schon so ein natürlich ein Beispiel dafür.Wie äh zum einen versucht wird, ja so eine Art äh Überwachungssystem einzurichten, das dann auch noch automatisiert Ergebnisse ausspuckt,und auf der also was was wir problematisch finden und auf der anderen Seite ist es auch ein typischer Fall davon, dass solche Systeme häufig verwendet werden, also erstmal ausprobiert werden, wenn man so will, an den Schwächsten der Bevölkerung.Und äh in in Holland. Also das System hat schon einige Schlagzeilen gemacht. Da hat's dann auch ein Gerichtsverfahren gegeben. Das ist auch erstmal ausgesetzt worden. Ähm wird aber weiterverfolgt von den Behörden,Gab's aber noch in vielen drastischeren Fall, da ist nämlich auch mit so einem automatisierten System ähm sind.Ähm Kindergeldzahlungen zurückgefordert worden und das war in ganz vielen Fällen vollständig ungerechtfertigt und es waren auch Summen, die waren sehr hoch und da sind Leute wirklich in extreme Existenzängste gekommen. Es soll sogar.Selbstmorde gegeben haben aus dem Grund, weil die Leute halt irgendwelche hochrenten Nachforderungen, also Rückforderungen bekommen haben und gedacht haben, das werde ich nie leisten können, ja und ich sehe da keinen Ausweg,Solche Beispiele sieht, dann muss man natürlich sagen, das gibt's alles in Deutschland nicht, das ist gut, dass das so ist, ja, aber es hat.Wahrscheinlich noch nicht so wahnsinnig viel damit zu tun, dass die deutsche Verwaltung so super ethisch ist, sondern dass einfach noch nicht so viel digitalisiert ist und dass noch nicht so viele Ideen entwickelt wurden. Also ich will damit jetzt nicht sagen.Ich habe die alle in Verdacht, dass die solche schlimmen Systeme entwickeln wollen. Es ist ja auch häufig,bei diesem Kindergeld ähm Ding ist es ja meistens auch ein Fehler. Das ist ja da steckt ja keine Absicht dahinter, dass jetzt jemand dafür sorgen will, dass das passiert,aber ähm es fehlt eben an.Aufmerksamkeit und Sensibilität dafür und es fehlt an Mechanismen, um dafür zu sorgen, dass das nicht schief geht,Und das ist halt unser Anliegen. Wir wollen Digitalisierung, ja, aber sie muss halt so gemacht werden, dass das nicht passieren darf äh kann.

Tim Pritlove 0:29:35

Du möchtest Digitalisierung mit menschlichem Anschätzen?

Matthias Spielkamp 0:29:38

Genau, ja. Nein, wir möchten nicht nur menschliches Antlitz, ne, sondern wir möchten, dass die Rechte der Menschen äh geachtet werden.

Tim Pritlove 0:29:48

Schon klar. Ja ich sehe gerade, die Jury ist dann auch vom äh europäischen Menschen äh äh Rechte Gerichtshof äh gestoppt worden.

Matthias Spielkamp 0:29:59

Nee, das war schon ein Gericht in den in den Niederlanden, aber der äh europäische Menschenrechtsgerichtshof äh also die die haben da drauf verwiesen, dassdass äh also jetzt oh es kann das ist eine Weile her nicht, dass ich jetzt was Falsches sage, aber ich meine der äh Menschenrechtsgerichtshof hätte sich nicht damit befasst,haben nur die Argumentation äh aufgegriffen, von dort zu sagen ähm das ist eben,eine ähm Privatsphäre ähm äh ein Privatsphäre eingriff, was in dem Fall,der damit mit der Menschenrechtskonvention nicht in Übereinstimmung ist. So habe ich das in Erin.

Tim Pritlove 0:30:35

Ja, ich sehe jetzt hier grad einen Bericht, dass es da durchaus ein äh Urteil in Den Haag äh vom.

Matthias Spielkamp 0:30:41

Das meine ich. Das ist ein holländisches richtig. Das ist ein holländisches äh ähm Gericht gewesen.

Tim Pritlove 0:30:46

Genau das ist das ist das ist nicht mit den Menschenrechten äh quasi konform läuft so äh das genauso rum.Ja, ne? Es ist äh ja, das ist äh interessant, ne, weil das natürlich auch alles so ein potentieller Zauber-Lehrlings- äh Moment sein kann, ne. Also wir wünschenimmer irgendwie, dass der Besen schön automatisch tanzt und warum läuft denn das nicht, aber äh wenn er dann halt anfängt äh durchzudrehen und man weiß nicht mehr, wie man die Maschine stoppen kann, dann ist es uns natürlich dann auch nicht recht und äh insofernist vielleicht manchmal die schleichende Digitalisierung gar nicht so schlechtweil äh es nicht unbedingt äh besser wird. Und das ist natürlich immer diese klassische Abwägung, ne zwischen Chancen und Risiken, die wir immer äh haben bei der äh Anwendung von Technologie.Äh die sich natürlich hier dann auch äh niederschlägt. Okay, das war jetzt ein Beispiel aus Holland. Gab's denn auch schon äh ein entsprechendes Thema in Deutschland? Vermutlich ja, ne?

Matthias Spielkamp 0:31:39

Ja also äh so was eben nicht, ne, dass da wirklich schon so sozusagen äh hier die,die die durchschnittlichen deutschen oder in Deutschland lebenden Menschen davon betroffen gewesen wären, was in,aber eben passiert ist, das werden einige ja auch kennen durch vor allen Dingen Berichterstattung bei Netzpolitik ist, äh dass das BAMF, also das ähm ähm.Bundesamt für äh äh Migration und und Flüchtlinge äh so eine automatische Dialekterkennung verwendet, die hochumstritten ist, ne? Weil da ist auch eben äh so ist, dass das wissenschaftlich gesehen auf echt,tönernen Füßen steht, ja, dann gibt es predictive Policing in Deutschland, in vielen Bundesländern,wird das eingesetzt. Das ist diese Idee, dass man jetzt nicht,individuelle Straftäter innen identifizieren kann, sondern dass man versucht durch statistische Methoden und eben auch und so weiter auf Grundlage von vorliegenden Kriminalitätsdaten rauszufinden, wo werden jetzt in Zukunft mehr,Verbrechen begangen, zum Beispiel Autodiebstahl, Einbruch und dergleichen und dann wird dort eben verstärkt patrouilliert.Könnte man ja auch erst mal sagen. Ist doch eine wahnsinnig gute Idee, ne, aber ich glaube, mit ein bisschen fantasiefallen einem auch sofort mögliche Probleme ein,dann eben zum sogenannten Overpolicing kommt und so einen selbstverstärkenden Effekt hat, da wo Kriminalität schon ein bisschen höher ist, wird halt stärker patrouilliert, dann wird mehr Kriminalität entdeckt als woanders, wo nicht patrouilliert wird, ne und dann,man so eine Ghettobildung, also um es jetzt mal wirklich ein bisschen zuzuspitzen, aber um den Mechanismus zu beschreiben.Das passiert in Deutschland schon und es werden auch in Deutschland automatisiert äh Steuerbescheide erlassen und.Das ist zum Beispiel eine ganz interessante Geschichte, weil man da auch sagen muss.Wir haben ja viele Forderungen eben in erster Linie nach Transparenz, ne, dass es ganz wichtig ist, dass man weiß, wo das verwendet wird und auch auf welche Art und Weise und dass da natürlich ein typisches Argument ist,also bei den Sicherheitsbehörden, die sagen natürlich auch immer, wir können da keine Auskunft drüber geben und das ist hochumstritten,da würden glaube ich viele in der Szene sagen ja ja das ist immer so vorgeschützt ne? Die wollen nur einfach nicht gestört werden,jetzt zum Beispiel bei den ähm bei den Steuerbescheiden ist es ja auch so, dass die keine Transparenz wirklich darüber herstellen wollen, weil das ja auch genau zu diesem Gaming-the-System Effekt führen könnte.

Tim Pritlove 0:34:09

Wenn man weiß, wie der Algorithmus funktioniert, dann kann man ihn auch leichter umgehen.

Matthias Spielkamp 0:34:13

Richtig, so ist es, ne, so Stichwort äh oder oder Methode Serge Engine Optimization, ne? Je besser du weißt, wie der Googlesuchalgorithmus funktioniert, desto besser kannst du deine eigene Website platzieren und so wäre das natürlich dort auch.

Tim Pritlove 0:34:24

Mhm. Ja dann äh dann kriegt SEO eine ganz neue Bedeutung, weil das ja so so Steuer äh Optimierung äh ist sozusagen, ne.

Matthias Spielkamp 0:34:32

Genau. Ja, SBO, Steuerbescheid, ob.

Tim Pritlove 0:34:36

Ja ja und ich meine in gewisser Hinsicht wird das ja auch.Schon so gemacht. Ich meine, Leute, die sich gut im Steuerrecht auskennen, ne, äh.

Matthias Spielkamp 0:34:48

Genau so ist es. Ja ja, genau.

Tim Pritlove 0:34:49

Rechtsanwälte et cetera, Steuerberater, die kennen natürlich diese ganzen Lücken und wir hatten das ja hier so mit Cum-Ex und solchen äh Vorfällen ja auch. Also es gibt ja schon immer Leute, die.Ihr Geld damit äh wie soll ich sagen, ganz gut beisammenhalten, um's mal zurückhaltend auszudrückenäh weil sie eben das System gut kennen. Das ist ja in dem Sinne auch nicht verboten, das System gut äh zu kennen. Bloß in dem Moment, wo es ja large, Scale und automatisiert ist, äh hat das natürlich gleich ganz andere Auswirkungen.

Matthias Spielkamp 0:35:21

Ja äh und das ist aber ein guter Punkt, weil man hier ja zum Beispiel sogar argumentieren könnte,dass die dass es da eine eine von diesen Möglichkeiten gibt. Es gibt ja viele, die sagen, ja aber man kann doch die Gerechtigkeit äh und die Diskriminierungsfreiheit und so weiter kann man ja verbessern durch automatisierte Systeme.Das würden wir eben auch prinzipiell immer sagen, ja, ja, das stimmt, ja, nur leider finden wir so wenig Beispiele dafür, wo das tatsächlich gemacht wird und gelingt,und bei den bei der Steuergeschichte ist es ja so, da gibt es ja ein Potenzial. Ich meine, wir beklagen uns dadrüber, dass solche Systeme häufig angewendet werden, wie ich eben beschrieben habe, äh auf vor allen Dingen eben,ähm benachteiligte Gruppen und Menschen. Und bei dieser ähm Steuerüberprüfung da wäre ja die Chance da.Leuten auf die Schliche zu kommen, ne, die versuchen also mit unerlaubten Methoden, die äh das zu optimieren.Gleichzeitig ist aber auch dann wieder ein sehr gutes Beispiel dafür. Da mache ich noch mal ein großes Fass auf, aber das ist notwendig.Dass man jetzt auch nicht den Fehler machen darf, immer nur dann zum Beispiel auf diese Systeme und auf diese Technik draufzugucken denn du hast es selber angesprochen.Vieles von dem, was zur Steuervermeidung gemacht wird, ist legal, aber du kannst es nur dann ausnutzen, wenn du erstens schon sowieso viel Geld hast, wenn du Möglichkeiten hast, zum Beispiel, was weiß ich, deine Gewinne inne,GmbH auszulagern oder weiß der Kuckuck, was es alles für Tricks gibt.Dem wird man natürlich nicht Herr werden, wenn man dann eine eine tolle Automatisierte ähm äh Software hat.Die sozusagen Betrug erkennt, weil der nach dem Motto was ist,was ist es, eine Bank auszurauben, dagegen eine Bank zu gründen, ne? Wenn man natürlich gleichzeitig sagen kann, ich habe hier ganz andere Methoden, ähm das System auszunutzen und die sind alle völlig legal.

Tim Pritlove 0:37:22

Solche Algorithmen, also ich habe natürlich da auch keinen Einblick. Äh ist alles so ein bisschen äh hören sagen, aber es gibt ja so ein paar Klassiker, ne, also dass man,Steuererklärung, Buchhaltung,Zum Beispiel äh also wenn man jetzt so eine Bilanz hat oder so oder halt auch wirklich mal alle Buchungen äh durchgeht und einzeln überprüft, dann kann man ja also äh statistische Häufungen von Endziffernmachen und solche äh Sachen, ne, die schon mal so erste Hinweise äh liefern für hier könnte ein Anfangsverdacht,vorliegen. Das ist ja sicherlich an der Stelle auch eine ganz sinnvolle Sache, um überhaupt erst mal professionelle äh Untersucher solcher äh Dokumente dann ähauf eine Fährte zu schicken, aber ist natürlich ganz was anderes, wenn das vollständig so läuft. Du hast jetzt gesagt, es gibtdas schon voll automatisierte Steuerbescheide. Was was gibt es da schon?

Matthias Spielkamp 0:38:13

Es werden in Deutschland äh Steuerbescheide automatisiert erstellt. Also du gibst deine Steuererklärung ab und da guckt kein Mensch mehr drauf,sondern du bekommst irgendwann Bescheid und der ist im Grunde genommen von von einer Maschine erstellt worden.Und äh da da sagen wir eben auch, das ist prinzipiell erstmal gar nicht problematisch, weil äh jetzt in dem konkreten Fall etwas garantiert ist, wofür wir uns woanders immer einsetzen, nämlich dass es.Ausreichende Widerspruchsmöglichkeiten gibt, ne? Also ich meine guck dir das aus der Nutzerperspektive an. Du bekommst deinen Steuerbescheid und,kennst ja normalerweise den Sachbearbeiter oder die Sachbearbeiterin auch nicht, die den erstellt hat und dann ist es halt deine Aufgabe, dir den anzugucken und zu überlegen, ob der jetzt in Ordnung ist oder ob da Fehler gemacht wurden,Wenn du aber der Ansicht bist, dass das der Fall ist, dann kannst du, hast du eben auch ein Verfahren, ja? Das heißt, du legst da einen Widerspruch ein und dann muss das geprüft werden und so weiter.Und wir sehen halt das Problem, dass es in vielen Fällen, wo so eine Automatisierung stattfindet, diese vernünftigen Verfahren nicht gibt. Es gibt keine Transparenz darüber, dass das gemacht wird und du weißt auch gar nicht, wie du Widerspruch einlegen sollst.Das ist bei dem Steuersystem.Ja, ich will das jetzt nicht in zu rosigen äh Tönen malen, aber äh das ist schon in Ordnung, weil ähm,du guckst ja dann da drauf und stellst fest, da ist irgendwas nicht in Ordnung und dann legst du einen Widerspruch an, dann guckt sich das auch ein Mensch an.Da sagen wir, ist in Ordnung, kann man machen.

Tim Pritlove 0:39:43

Wir hatten auch bei Lobby äh schon ja auch ab und zu mal nach Österreich. Da gab's ja diesen äh Fall mit diesem ähm hieß das äh.

Matthias Spielkamp 0:39:51

AMS, Algori.

Tim Pritlove 0:39:52

Genau, HMS in diesem Jobcenter genau, wo so Leute quasi für bestimmte Qualifikationen vorausgewählt wurden durch so einen,äh System Machine und KI müssen wir sicherlich auch nochmal,sprechen, aber hier konkret, das ist ja dann auch unter die Räder gekommen das System, weil das irgendwie einfach im Prinzip ja auch immer so diesen diesen inneliegenden den diese Datenwelten dann äh haben, nur noch verstärkt hat.

Matthias Spielkamp 0:40:23

Ja, es war sehr umstritten, es war ganz interessant, weil das auch in Österreich wirklich mal Schlagzeilen gemacht hat. Ja, so normalerweise.Sowas ja nicht auf die Titelseiten, aber dieses AMS-Ding, das war schon ganz schön umstritten. Und ähm und das liegt da dran, dass.Halt die Leute, die sich das angeschaut haben mit einem kritischen Blick gesagt haben, da läuft was falsch und zwar ähm gibt es da so ein Punktesystem und das Ziel erstmal zu nennen. Es ging dadrum, rauszufinden.Ob Menschen zur Wiedereingliederung in den Arbeitsmarkt, wie es so schön heißt, bestimmte Förderungen bekommen sollten, also etwa Fortbildung und keine Ahnung äh Bewerbungstrainings und so was, ne, so wie es das ja hier auch gibt.Dann haben die versucht, das insofern zu automatisieren, dass sie ähm auf so einer Datenanalyse eben versucht haben rauszufinden.Wer hat denn jetzt sehr, sehr gute Chancen wieder sich zu integrieren, also wieder einen Job zu finden? Die bekommen keine Leistung. Wer hat ganz lausige Chancen? Die bekommen auch keine Leistung, weil,man hat nicht genug Geld, um allen was zu geben, ne? Ist die Argumentation,Also sucht man sich die raus, bei denen das Potenzial am größten ist und beziehungsweise dann eben auch die das Verhältnis, ne, weil das Potenzial äh ist natürlich bei den bei der ersten Gruppe am größten, aber die muss man dann eben auch nicht unterstützen,und.Dann kam halt raus, dass zum Beispiel Frauen ähm so eine Art Negativpunkt bekommen haben oder einen Punktabzug dafür, dass sie,Leistungen erbringen müssen, also dass sie halt zum Beispiel auf Kinder aufpassen und dergleichen, ja? Und das wurde aber bei Männern nicht äh gemacht und.Da hat man natürlich sofort den Eindruck, hey, da wird also genau die Diskriminierung, die in der Gesellschaft sowieso schon da ist, wird da nicht wird da zum einen widergespiegelt und zum anderen dadurch auch noch verstärkt.Macher dieses Systems, die haben das mit Zähnen und Clown verteidigt und ich finde den Fall deshalb interessant, weil ich es auch gar nicht so eindeutig finde, weil einerseits war sozusagen klar, dass da diskriminiert wurde und dass das auch nicht geht.Auf der anderen Seite haben die aber immer argumentiert, ja, aber wir haben begrenzte Ressourcen und was wir versuchen, ist eben diese Optimierung und am Ende.Ist kein, also sozusagen, es ist dieser Unterschied zwischen Disprit Treatment und Disprit Impact, wie die Amerikaner das.Also du du hast ähm einerseits eine Ungleichbehandlung,aber du hast nicht ein ungleiches Ergebnis. Also du hast kein diskriminierendes Ergebnis. War, wie gesagt, die Behauptung der Macher.Das Ding ist nie eingesetzt worden, weil es erst diesen ganzen Streit gab und Gerichtsverfahren da drum und dann Corona kam und man dann die Grenze sozusagen Datenbasis auf den Müll werfen konnte.Weil das auf einmal alles nicht mehr stimmte. Und ähm deswegen ja ist der Streit für mich tatsächlich so ein bisschen offen, muss ich sagen. Also auch wenn.Viele in der Szene so ganz, dass so ganz eindeutig finden, ich finde es weiterhin nicht so ganz eindeutig.Aber ähm ja, es war ein gutes Beispiel, ne, für so einen Streit, der da entstehen kann.

Tim Pritlove 0:43:29

Sicherlich auch ein gutes Beispiel für Streit, der auch noch äh kommen wird. Also ich meine, das ist sojetzt nicht der letzte Ansatz gewesen sein und du hast schon Recht. Ich meine, dieser Wunsch nach Optimierung bei manchen Themen versuche ich auch oft mich immer so in diese Situation äh zu versetzen, so was würde ich denn eigentlich gerne haben,Wenn ich jetzt morgen Bundeskanzler bin.

Matthias Spielkamp 0:43:50

Mhm, das ist eine super Übung, finde ich auch.

Tim Pritlove 0:43:53

Und ähdas Erste, was mir sozusagen in den Sinn käme, wäre, ich möchte jetzt gerne mal solide Daten haben dadrüber, was unser Staat eigentlich genau tut.Und selbstverständlich aus dieser Perspektive möchte man natürlich möglichst viele, möglichst detaillierte Daten, diemöglichst alles umfassen haben. Nicht, dass man das alles sofort anfassen kann und so weiter, aber äh es ist ja äh auch eine Erfahrung, wenn man jetzt so wie wie wir ja so aus dieser Computer äh Netzprägung herauskommen,Aber erstmal sagt so, ja, dass dass man die Daten anschauen und äh dann analysieren wir das so ein bisschen, ja, Stichwort auch äh Datenjournalismus, so das Relevante äh äh aus den aus den Basisdaten herausfinden, um dann,eine Entscheidung zu fällen, die halt auch in ist.Davon ausgehen, dass die Daten dann auch korrekt erhoben sind et cetera, das ist natürlich nochmal andere Problematik und warum dann eben auch nicht den nächsten Schritt gehen und sagen, ja gut, so das das sind alles sehr viele Daten, die ändern sich am laufenden Meter, äh da kommt die ganze Zeit was dazukönnen uns nicht immer wieder äh viel Zeit nehmen, um sie sich in Gänze anzuschauen, dann sind sie schon wieder veraltet in dem Moment, wo wir die ersten Schlüsse gezogen haben. Das schreit ja in gewisser Hinsicht nach Automatisierung. Also es ist ja ein valides Ziel.Solche Systeme auch zu haben, aber die eigentliche Frage ist, in welchem Rahmen,Sollen sie halt, also auch in welchem Rechtsrahmen sollen sie eigentlich auch laufen und gibt's da irgendwo,moralisch ethische äh Grenzen, die man nicht überschreiten darf, ne. Das ist ja eigentlich der sofort aufkommende Fragenkatalog.

Matthias Spielkamp 0:45:37

Exakt und der ist natürlich auch nicht einfach zu beantworten oder er ist abschließend sowieso nicht zu beantworten.Ähm aber ich will's mal aufgreifen. Also das eine ist eben, du hast es selber gesagt, nur man möchte eigentlich viele Daten haben. Ich fand das so ganz interessant, die Piratenpartei hat bei der letzten Bundestagswahl.Ich kann das jetzt nicht exakt hersagen, aber ungefähr so meine ähm mein Geschlecht geht den Staat nichts an.

Tim Pritlove 0:46:03

Ja.

Matthias Spielkamp 0:46:04

Dran erinnern, an solche Plakate, ne.Und äh die also meine Vermutung ist Wald, ne, dass das so gedacht war, wie äh hört mal, das ist meine Privatsphäre. Ihr haltet euch da bitte raus und.Ähm ja ich möchte jetzt nicht dann zum Beispiel diskriminiert werden, weil ich eine Lesbe bin oder weil ich ein Schwuler bin oder weil ich irgendwie Trans bin oder sowas.Aber meiner Ansicht nach ist das total verkorkst, weil ähm.Wie soll man denn antidiskriminierung sozusagen äh also zum Beispiel aktivistisch betreiben oder auch äh von staatlicher Seite, wie soll man für eine größere Gerechtigkeit sorgen, wenn man die Informationen nicht hat.Also, wie kann ich denn rausfinden, wie zum Beispiel ähm also ob etwa Frauen am in Führungspositionen,benachteiligt werden, wenn ich weder die also wenn ich sozusagen einerseits nicht nicht erheben darf ähm welchen Geschlecht jetzt die Führungsperson ist.Und dann dadrauf keine Entscheidung treffen kann. Das ist ein Dilemma.Ich sage jetzt auch nicht, das ist einfach alles total leicht aufzulösen. Das ist es nämlich nicht, ne? Wenn wir das so bei diesem ganzen racial Profiling zum Beispiel sehen, bei der Polizei, ja in anderen Ländern werden halt ganz klare Daten erhoben ähm.Nach zum Beispiel ähm Fmisity, ne, also die Polizei kontrolliert und die muss dann auch dokumentieren, war das jetzt eine schwarze Person oder war das war sie Spanic oder so was in der Art,Wird in Deutschland nicht gemacht und ähm man.Neigt glaube ich dazu, sofort zu sagen, ja aber das ist doch auch irgendwie eine diskriminierende äh Policy, die da betrieben wird, aber auf der anderen Seite kriegt man auf die Art und Weise natürlich auch raus, wie die Polizei gehandelt hat und dann konnte man rausfinden, dass in New York etwa,ein totales Oberpolicing stattgefunden hat, also nicht, dass das jetzt eine Überraschung war, aber man konnte es eben auch empirisch belegen, ja, dass ein totales Oberpolicing von,Blacks und Hispinics ähm passiert ist, ne? Die also dauernd äh auf der Straße angehalten und durchsucht wurden.Ähm und das den tatsächlichen ähm also den tatsächlichen Gefahren, wenn ich das jetzt mal so nennen will, überhaupt nie entsprochen hat, ne? Weil bei den Leuten wurde halt überwiegend nix gefunden, ne.So und das das ist schon verdammt schwierig und und dann kommt natürlich noch mal einer oben drauf, wie du sagst, so wo wollen wir denn aber auch.Sagen, wo ist denn eine Grenze zum Beispiel dafür, ähm solche Entscheidungen.Solchen computational äh oder systems zu unterstützen.Ich glaube zum Beispiel, dass viele von uns sagen würden, wir möchten nicht, sogar wenn man jetzt einen guten Case dafür machen könnte, dass die.Urteile.Er ist ein bisschen schwierig, will mich da nicht verplappern sozusagen, aber das Urteile zum Beispiel gerechter würden, wollten wir trotzdem.Gesellschaft nicht, dass ähm Computer, Entscheidungen ähm also zum Beispiel hier äh in in Strafsachen entscheiden.Würden wir sagen, das muss,einfach Menschen überlassen bleiben, ne? So äh da kann man jetzt lange drüber streiten. Also wenn du jetzt zum Beispiel anderer Ansicht wärst, dann könnten wir uns die nächsten drei Stunden da äh drüber unterhalten, ne, wie gerechtfertigt das ist oder nicht und so weiter. Ich will nur mal sagen,Das sind natürlich Fragen, mit denen wir uns beschäftigen müssen und wenn die dann so ein nicht ganz so eindeutig sind.Dann wird es natürlich schwierig. Also soll jetzt.Score, darüber mitentscheiden, ob äh ich einen Kredit bekomme oder nicht oder soll, dass der.Arbeiter oder Berater oder die Beraterin in der Bank nur auf der Grundlage eines persönlichen Gesprächs und der Information, die ich gebe und so weiter dann entscheidend. Ne, also dies.Schufa äh Prinzip oder die Frage danach, ne. Das äh sind keine Fragen, die einfach zu beantworten sind in den meisten Fällen.

Tim Pritlove 0:50:09

Also Schufa nehme ich mal an, habt ihr auch äh als Dauerthema wahrscheinlich.

Matthias Spielkamp 0:50:14

Viel zu wenig, ehrlich gesagt. Also wir haben viel zu wenig Zeit äh dadrauf, die wir dadrauf verwenden können. Wir denken immer wieder,Güte, ja, muss man sich doch nochmal wieder angucken. Jetzt wird sie vielleicht verkauft und,wo gehen dann die Daten hin und was hat sich denn eigentlich geändert seit unserer Open SCHUFA Kampagne und nix, ne? Justizministerin hat gesagt, das muss viel besser überwacht werden, was wurde getan? Gar nichts,war aber auch unsere eigene Schuld, weil wir eben nicht hinterher waren, ne ähm und das ja, aber tatsächlich, das ist schon echt so ein Dauerthema.

Tim Pritlove 0:50:49

Saß du jetzt so nebenbei, ich glaube, wir hatten das auch bei Lokbruch irgendwann mal hier zum Thema open Schuhfahrer, habt ihr Daten gesammelt ne und äh das war ja ein Projekt von euch und der äh UKF der Open Knowledge äh Foundation.Sogar in Grimma online äh Wort fast bekommen.

Matthias Spielkamp 0:51:07

Fast bekommen, genau.

Tim Pritlove 0:51:08

Das bedeuten mag, aber.

Matthias Spielkamp 0:51:10

Waren nominiert.

Tim Pritlove 0:51:11

Genau. Da habt ihr Daten äh Spenden gesucht. Das ist ja sozusagen auch eine Methode, mit der ihr arbeitet.

Matthias Spielkamp 0:51:17

Mhm genau. Ja also das ist schon so eine Methode, die wir, glaube ich, da können wir durchaus für uns in Anspruch nehmen, dass wir die geprägt haben. Also wir haben die nicht erfunden, aber.Wir sagen eben ähm wir wollen uns natürlich dann zur Wehr setzen, indem wir Daten einsammeln, von denen dann zum Beispiel Unternehmen auch gar nicht wollen, dass die eingesammelt werden von irgendjemand anderem.Um dann mal zu gucken, ob denn alles mit rechten Dingen zugeht. Und oben Schufa fand ich, war ein gutes Beispiel, weil die Datenanalyse selber.War ähm jetzt nicht so, die ist nicht so gelungen, wie wir uns das gewünscht haben. Da waren technische Probleme dabei, da waren Probleme in der Kampagne dabei, also die ist insgesamt gut gelaufen, aber,Es ist eben auch jetzt nicht wirklich überraschend gewesen für uns, aber wir mussten's natürlich trotzdem ausprobieren,meisten Leute, die da mitgemacht haben, die ihre Daten gespendet haben, sind natürlich auch aus einer bestimmten Blase und sind jetzt eher Leute, die zum Beispiel keine finanziellen Schwierigkeiten haben und keine schlechten Scores bei der Schufa und so und dann kann man,auch weniger rausfinden.Was war zum Beispiel rausgefunden haben ist, dass äh die unterschiedliche Softwaresysteme verwenden und die Datenhaltung ist nicht gut und äh vor allen Dingen haben wir aber auch rausgefunden, dass die Aufsicht nicht funktioniert über die Schufa, ne? Also,hessische Datenschutzbehörde ist dafür zuständig und die war also zu dem Zeitpunkt so was von verschnarcht und nachlässig. Also das war schon mit so eigentlich die ähm.Ja, die die größte Kritik, die wir da am Ende hatten, ne und ja,aber eben leider so, dass äh unserer Ansicht nach sich da nicht genug getan hat, aber wir waren noch sehr sehr neu zu dem Zeitpunkt und.Hatten wirklich einfach auch nicht die Ressourcen dann hinterher, ne, die Kampagne war gut gelaufen. Wir hatten eine Menge Aufmerksamkeit bekommen.Und dann hat sich eben damals die ähm.Äh Barley, die Justizministerin war, auch dazu geäußert und hat gesagt, da muss sich was ändern, aber dann hätten wir natürlich aktiv werden müssen und denen ständig auf den Füßen stehen und sagen, dann lass uns hier Gespräche führen und konkret werden und dazu hatten wir einfach nicht die Power.

Tim Pritlove 0:53:28

Lassen wir mal kurz bei der Schuhfarbe bleiben, weil ich finde das äh erstmal ist es ja sozusagen auch schon sehr alt, also Schufa gibt's ja schon seit ewig äh Kiten und ähm ich glaube viele Leute äh wissen auch gar nicht, dass es so privat äh rechtlich organisiert ist, aber im,quasi so für das gesamte wirtschaftliche Leben, also damit sozusagen für jeden in der Gesellschaftpotenziell äh eine Chance und ein Problem darstellen kann, ne? Also da gibt's ja auf der einen Seite natürlich die persönliche Bewertung, aber auf der anderen Seite eben auch so dieses, was so nebenbei abfällt so wohnst du in einem Gebiet, woviele Leute ein Problem haben und so, ne, dann kannst du ja dann auch schon äh mit in die Bredouille äh kommen, bis hin dann eben zu diesem klassischen Kafka äh Problem ja Schufa sales noaber jetzt würdest du halt gerne wissen warum eigentlich und dann sagen sie es dir halt eigentlich auch nicht wirklich.Weil sie ja dadurch dann quasi ihren Algorithmus veröffentlichen müssten. Wenn sie das aber tun, dann wiederumDas Problem, dass danndieses Gaming natürlich äh losgeht und die Leute wissen, aha okay, so berechnet sich der Score, hier ist der Bug, äh jetzt kann ich das auch aktiv umgehen.

Matthias Spielkamp 0:54:43

Da sind wir bei diesem schwierigen oder vielschichtigen Thema Transparenz, ne? Also zum einen würde ich schon sagen, ähm.Ein ganz großes Problem bei diesen, wie du's ja eben gut beschrieben hast. Kafka Esken äh Erfahrung mit der Schufa,nicht so sehr im Algorithmus, sondern einfach in deren Datenhaltung. Also da kann man jetzt sagen, das macht auch einen Algorithmus, ne? Also das stimmt schon, aber es geht nicht so sehr um den Score selber, sondern es geht dadrum, dass die einfach echt lausig äh äh lausige Informationen zum Teil haben.Dadurch Namen verwechselt werden und dann ne solche Geschichten und dann rennste eben tatsächlich von,Pontius zu Pilatus und versuchst das in Ordnung zu bringen und die Bank sagt, das muss die Schufa machen und die Schufa sagt, das muss die Bank machen und so weiter.Und du bist also völlig hilflos dem Gegenüber. Und ähmdie die Frage danach, wieviel man aber über solche Systeme äh veröffentlichen kann, ohne dann dieser Manipulation Tür und Tor zu öffnen, die ist auch wiederum nicht so leicht zu beantworten. Wir finden eben schon, dass sehr viel mehr darüber,ausgesagt werden kann, ja ähm als das bisher der Fall ist und dann gibt es auch die Argumentation.Dass das sehr wichtig ist, weil man ja zum Beispiel auch eine Möglichkeit haben möchte.Anders zu handeln, ja, also Handlungsfähigkeit herzustellen. Wenn ich nicht weiß, warum ich einen schlechten Score habe, kann ich auch nix unternehmen.Und jetzt kommt's aber. Es ist so ein bisschen man schraubt sich so ein bisschen hoch.Ich finde aber auch die Kritik dann wiederum völlig berechtigt daran, an diesem an dieser Herangehensweise,Weil das ja am Ende bedeuten würde, okay, wir werden alle gescored die ganze Zeit und wir müssen uns halt so verhalten, wie diese scoring Algorithmus Algorithmen das von uns erwarten, damit wir,teilhaben können an an gesellschaftlichen Leben.Also mir wird dann diese Möglichkeit eröffnet. Ich weiß, ich habe mich jetzt irgendwie schlecht verhalten. Ich habe eine dritte Kreditkarte bestellt und keine Ahnung, das denke ich mir jetzt grade aus, ne. Ich weiß nicht, welche Auswirkungen das auf den Score hat, aber ich habe eine dritte Kreditkarte bestellt und deswegen singt mein Score,dann darf ich das halt nicht machen, dann muss ich das lassen mit der Kreditkarte. Da denke ich dann auch wieder, Entschuldigung, weil die weil der weil der Schufa Algorithmus das findet, ja, was ist denn das für ein Scheiß?Und,das wird natürlich dann auch noch dramatisch, wenn es noch viel mehr solcher Profilingsysteme gibt, ne? Wenn also überall gemacht wird, wenn's auch noch um Ein- und Ausreise geht und solche Geschichten.Ne? Dann haben wir eben tatsächlich irgendwann diese Situation, die von vielen als eine wirkliche Dystopie beschrieben wird.Wir uns nur noch danach ausrichten müssen, was irgendein automatisiertes System findet, wie wir uns eigentlich verhalten sollten. Und das darf selbstverständlich nicht passieren.

Tim Pritlove 0:57:36

Wie wirkt sich das eigentlich jetzt auf eure konkrete politische Arbeit aus? Das ist jetzt auch noch mal so ein bisschen auf die Frage so auch äh eures Modusoran, die so ihr setzt euch jetzt mit der Schufa auseinander, ihr äh gewinnt äh über DatenSpenden und andere Maßnahmen, Forschung ähvielleicht auch Diskurs, weiß ja gar nicht, wie viel die Schufa mit euch äh redet, äh gewinnt ihr also gewisse Informationen. Letztlich gewinnt ihr ein Bild und ihr habt ja auch ein Bild von den,Probleme so, wie wir sie eben skizziert haben, ne? Moralische Grenzen, rechtliche Grenzen et cetera, das kommt ja alles mit rein. Was ist jetzt quasi daskonkrete Ergebnis eurer Arbeit geht es jetzt nur da drum zu sagen, ja hier, wir haben das jetzt mal alles recherchiert, hier ist für die öffentliche Meinungsbildung äh die Information lest euch das mal durch und wir äh legen uns jetzt wieder schlafen oder führt es dann auch zum konkretenpolitischen Aktivismus geht ihr in Richtung Gesetzesvorschläge redet ihr mit Verbänden? Also was für ein konkreterpolitischer Aktionsrahmen existiert für euch, indem ihr euch äh bewegt und wo wollt ihr den auch nicht verlassen.

Matthias Spielkamp 0:58:41

Ja, also wir sind ganz klar Aktivisten. Ja, das ist so ein das ist ja auch so ein,irgendwie so komischer Begriff, ne? So, das man stellt sich so vor, so wir stehen halt irgendwie mitm Plakat in der Hand irgendwo rum, aber äh ich find's schon wichtig, das auf den Punkt zu bringen, weil ähm,wir sagen auch wieder so ein äh Denglisch-Begriff, ne. Wir machen Evidence spaced at vocusy. Also wir machen ähm wir versuchen Politik zu beeinflussen auf der Grundlage von guter Erkenntnis, von Evidenz.Kannst du sagen, ja also welche Organisation behauptet denn, dass die Politik beeinflussen will ohne jegliche Evidenz, ne? Natürlich niemand,Wir haben schon einen anderen Ansatz. Wir wir machen schon sehr viel aufwendigere Forschung als viele andere. Wir forschen ja zum Beispiel auch oft in Konsortien gemeinsam mit.Ähm Unis und Forschungseinrichtungen, ne, also im Moment zum Beispiel arbeiten wir in unterschiedlichen Projekten zusammen mit der Viadrina, mit der Uni Paderborn, mit der FH Potsdam, mit der ähm.Institut für ökologische Wirtschaftsforschung mit der TU Berlin und so weiter und so fort, ne? Also da nehmen wir schon für uns in Anspruch, dass wir also schon richtig,angewandte Forschung und zum Teil auch Grundlagenforschung machen,Manchmal entsteht dann so der Eindruck, wir seien so ein Thinktank, ne? So ja, also wir finden was raus und dann veröffentlichen wir ein Papier und dann war's das. Aber wir sagen ganz klar nein, wir sind Aktivisten, wir wollen Politik und Gesetzgebung beeinflussen.Wie machen wir das? In dem Fall, ich gehe noch mal kurz zur SCHUFA zurück, weil wir da gerade waren. Wir haben dann gesagt,sehen da eine Gesetzeslücke, ne, die nämlich darin besteht, dass zum Beispiel die Banken sagen,Also es gibt ja diese Vorgabe außer Datenschutzgrundverordnung, dass eigentlich automatisierte Entscheidungen nur unter ganz bestimmten Voraussetzungen getroffen werden können, eingesetzt werden können und sonst nicht erlaubt sind.Und da sehen wir, dass da eine Lücke ist, nämlich die Schufa sagt, wir machen nur den Score.Wir fallen deswegen nicht unter diese Regelung und die Banken sagen, wir treffen zwar die Entscheidung, aber wir automatisieren das ja nicht, weil der Score kommt ja von der SCHUFA und deswegen sind wir auch nicht äh da fallen wir auch nicht dadrunter.Da sagen wir dann zum Beispiel ganz konkret, das muss geändert werden. Jetzt habe ich bei dem Thema Schufa schon gesagt,Haben das nicht geschafft, ne? Wir haben das nicht hinbekommen, da den Druck aufzubauen. Aber ich möchte natürlich auch ein Beispiel geben, wo wir erfolgreich gewesen sind. Wir haben in den letzten zweieinhalb Jahren ähm.Viel Lobbying gemacht zum Digital Service ist Eck. Das ist ein wichtiges neues Gesetzesvorhaben auf europäischer Ebene, das.Ganz kurz vor der Verabschiedung steht. Anfang Juli soll das verabschiedet werden im Parlament.

Tim Pritlove 1:01:19

Logbuchnetzpolitik berichtete.

Matthias Spielkamp 1:01:22

Ja genau, ich wusste es zwar nicht, aber ich war äh ich bin kein bisschen überrascht, ja? Es ist ein wirklich wichtiges Vorhaben und ähm da äh haben wir dafür mit anderen Organisationen natürlich dafür sorgen können,dass eine,Verpflichtung der Plattform eingeführt wird WissenschaftlerInnen und zivilgesellschaftlichen Organisationen Zugang zu Plattformdaten zu gewähren.Das heißt, wir werden die das Recht bekommen, unter bestimmten Voraussetzungen, ähm,direkt an die Daten von Plattformen zu kommen, um zum Beispiel nicht immer diesen Umweg über Datenspenden gehen zu müssen, die dann häufig kleine ähm kleine ähm,Zahlen haben, also nicht repräsentativ sind, äh unter Umständen verfälscht, dann versuchen die Plattformen einem Stein in den Weg zu legen, wie Facebook das bei uns gemacht hat und da haben wir uns eben dafür eingesetzt, dass das geändert wird und das wird jetzt im DSA stehen.Ist eine ganz große Frage, was machen wir damit in der Praxis.

Tim Pritlove 1:02:24

Ja sag erstmal, wer ist denn wir, also wer kriegt das Recht konkret?

Matthias Spielkamp 1:02:30

Die Regelung ist, es sind ähm Wissenschaftlerinnen und Wissenschaftler und es sind zivilgesellschaftliche Organisationen und dann ist das immer noch mal wird das nochmal spezifiziert. Es müssen,anerkannte ähm Wissenschaftler innen und zivilgesellschaftliche Organisationen sein. Was soll das heißen? Na ja, dann guckste wieder, dann wird auf bestimmte andere,Gesetzgebung Bezug genommen und wie man das definieren kann, wer ist das denn? Ja also ähm muss das eine akkreditierte Universität sein oder kann das auch jetzt sagen wir mal das deutsche Institut für Wirtschaftsforschung sein,Wird dann alles so nach und nach wird das so detailliert,wer das dann ist. Aber grundsätzlich eben Wissenschaftlerinnen und Wissenschaftler und und eben solche Organisationen wie wir. Man will mit dieser möglichst klaren Kategorisierung erreichen, dass jetzt nicht dann irgendwelche,natürlich auch Leute das machen, weißt du, ich gründe mal einen Verein, ne, brauche ich sieben Leute in Deutschland, ne, gründe ich einen Verein,gehe ich dahin, sage wir sind eine zivilgesellschaftliche Organisation und dann sauge ich da die ganzen Daten ab und dann verwende ich die quasi für irgendwelche kommerziellen Zwecke.Sowas soll natürlich auch in unserem Sinne nicht passieren. Also jetzt von dir und mir darf das natürlich auch nicht passieren,Das heißt, da müssen also schon gewisse Voraussetzungen dafür geschaffen werden, dass das dass da nicht jeder kommen kann, ja? Aber.Es sind eben Dritte, ne? Es ist nicht mehr einfach nur so. Nur Facebook weiß, was Facebook weiß und nur Google weiß, was Google weiß, sondern wir werden einen Zugang bekommen.Das wird noch Jahre dauern, rauszukriegen, wie genau und was wir dann eigentlich auch wissen wollen und so weiter, aber das ist schon ein ziemlicher Erfolg.

Tim Pritlove 1:04:08

Das wäre jetzt auch noch mal eine Frage, um also inwiefern spezifiziert es, welche Daten also auf welche Daten darf man dann zugreifen oder die Anfragen?

Matthias Spielkamp 1:04:17

Ja da kannst du ich schicke dir dann nachher Links, die kannst du dann da in dein ne.

Tim Pritlove 1:04:20

Gerne.

Matthias Spielkamp 1:04:25

Ja genau in die Show Notes zum Beispiel hat gerade also es ist diese Woche ist zum einen ähm äh die ähm.Der Code of Practice und disinformation ist veröffentlicht worden. Das ist ein Dokument, das.Plattformen und aber auch zivilgesellschaftliche Organisationen äh auch sehr bekannte wie Reporter ohne Grenzen mit unterschrieben haben ähm und da steht.Ausgearbeitet welche also besser ähm,beschrieben, welche Informationen wer da rankommen darf, auf welche Art und Weise, welche Schutzkonzepte bestehen müssen, damit eben zum Beispiel keine Privatsphäre Verletzungen passieren,und das wird wiederum alles nochmal detaillierter dargelegt in einem.Report, der Ende Mai rauskam vom sogenannten European Digital Media Observice, das ist so eine Arbeitsgruppe, die von einer EU finanziert wird, wo auch Plattformen, Wissenschaft, Zivilgesellschaft,drin sind und dieser Report, der eben zum Teil auch nochmal klar macht, wie's im Detail aussehen kann, der hat da eine hundert1achtzig Seiten, ja? Also,Da können da können die Hörerinnen und Hörer dann erstmal zweihundert,30 Seiten Material lesen, um sich da ein Bild davon zu machen. Tun sie natürlich nicht, sondern das ist dann unsere Aufgabe. Ich will da nicht ausweichen. Ich will dir nur deutlich machen. Also ich könnte dir das im Moment nicht einfach beschreiben, ne, sondern das ist total komplex.

Tim Pritlove 1:05:48

Ja ja okay, keine Zweifel, das ist total komplex ist. Das ist ja auch schon mal wertvoll, das rauszuarbeiten, aber ansonsten mache ich mir da gar keine Probleme, äh unsere Hörerinnen und Hörer machen das natürlich alles automatisiert, ja?

Matthias Spielkamp 1:05:59

Ja richtig, genau, genau. Die dies die lassen die schmeißen das in Word und sagen mach mal bitte die äh den Appstrack.

Tim Pritlove 1:06:06

Das ist ja höhere Rennbeleidigung. Nein, es kommt die Datenbank und wird irgendwie total modern ausgewertet.

Matthias Spielkamp 1:06:12

Ja, genau.

Tim Pritlove 1:06:13

Äh vielleicht noch eine kurze Nachfrage äh dazu, weil meine Frau war ja auch so ein bisschen okay. Wie versteht ihr euch? Hast du gesagt, okay, wir sind Aktivisten. Wir wir bringen Sachen konkret voran und im Beispiel von diesem Digital Service Act sieht man ja auch schon, dass halt auch Wirkung, ne? Also esletzten Endes dazu, dass äh auf nationaler oder eben auch auf europäischer Ebene Einfluss genommen wird.Wie läuft es bei euch intern, weil ich meine, ihr müsst ja dann sozusagen auch eine Meinungsbildung in irgendeiner Form betreiben. Wie organisiert ihr euch in im Team, um da auch zu einer,ja Entscheidungsgrundlage zu kommen wohin man gehen will.

Matthias Spielkamp 1:06:53

Also wenn man jetzt sie du hattest ja schon mal drauf angesprochen, wie viel Leute das sind, ne und wenn man jetzt mal so sich auf der auf der Website das anguckt und fliegen natürlich schon mal erstmal alle raus, dieBeispiel so was wie Verwaltung und Backoffice und sowas machen, ne? Weil die dann da äh jetzt keinen Anteil dran haben, ne.Und ähm dann äh ist es so, dass wir eben weiterhin sehr stark projektfinanziert sind. Ähm und das zum Beispiel.Auch Leute einfach in Anführungszeichen einfach dadran arbeiten, dass Projekte gemanagt und abgewickelt werden, ne? So und ähm dann bleibt am Ende so ein quasi ein Kern von Leuten, die die.Policy Positions, also diese Politikforderung ausarbeiten, äh mit denen wir dann am Ende versuchen eben solche Veränderungen zu bewirken. Und das ist in erster Linie das äh,Policy und Ephoesy Team.Sind im Moment ähm vier Leute, wenn man mich nicht mitrechnen, aber natürlich bin ich da auch dabei. Ähm und aber ich bin sozusagen als äh als Geschäftsführer jetzt nicht Teil dieses, also offiziell Teil dieses Teams.Und äh dann sind es eben noch Leute, die zum Beispiel äh Informationen beisteuern, weil sie ein Projekt machen. Also ich gebe dir mal ein Beispiel. Meine Kollegin Jessica Wulff, die hat eine.Ähm die hat eine ähm eine Publikation geschrieben, die.Sich beschäftigt mit der Frage, wie wie tritt eigentlich ähm automatisierte Diskriminierung auf in Deutschland und was könnten Beratungsstellen tun, um die besser zu erkennen und dann auch dagegen vorzugehen. Und bei sowas entsteht natürlich.Wissen und äh ähm dieses Wissen, das diskutieren wir dann in unseren Meetings, in unseren Treffen.Stellen uns dann selber die Frage, was entsteht daraus für uns für eine Forderung? Ja und ich gebe dir ein Beispiel, ähm wir wollen etwa, dass.Antidiskriminierungsstellen äh und die Beratungsstellen und auch andere ähm stärker in die Lage versetzt werden, gegen sowas vorzugehen, zum Beispiel durch einen Verbandsklagerecht.Und ähm ja, das versuchen wir dann auszuformulieren und zu begründen, warum wir der Ansicht sind, dass das so sein müsste.Und dann, wenn wir die Power haben, also wenn wir die Leute haben, die sich drum kümmern können, dann versuchen wir eben auch direkt Einfluss zu nehmen, indem man mit Bundestagsabgeordneten sprechen oder auch den Leuten in den Ministerien, die dafür zuständig sind und indem wir auch Bündnisse schmieden mit anderen Organisationen, die sich um sowas kümmern, wasweiß ich, ne? Lesben und Schwulenverband oder,Bundeskonferenz der Migrantenorganisationen und solche ähm Organisationen, bei denen wir uns halt erhoffenwenn wir mit denen zusammenarbeiten, das Ganze ein bisschen mehr Wumms bekommt.

Tim Pritlove 1:09:47

Auch nochmal auf die anderen Meterthemen eingehen, die du anfangs genannt hast, aber da wir jetzt gerade noch bei äh der äh europäischen Union jetzt sind, ist es vielleicht nochmal ganz gut drauf hinzuweisen, dass ja da grade in dem Zusammenhang mit der ganzen Diskussion um künstlicher Intelligenz auch eine neue Verordnung äh an The Porters ist.Da seid ihr ja auch dran, ne.

Matthias Spielkamp 1:10:09

Das ist auch die also verkürzt KI-Verordnung den den genauen Titel weiß ich noch nicht mal, weil das sind immer dann so so fünfundzwanzig Wörter, ne.Diese Gesetze heißen, ja? Deswegen heißt das also entweder KI-Verordnung oder oder AI-Act, ne, so wird das dann genannt.

Tim Pritlove 1:10:24

Mhm.

Matthias Spielkamp 1:10:26

Und diese KI-Verordnung, die versucht jetzt sehr horizontal. Das ist so der Sprecher ähm äh zu sein. Das bedeutet, die guckt nicht auf ein konkretes ähm.Ähm auf einen konkreten Sektor wie etwa Verkehr oder Finanzen oder so, ne, sondern sagt also wir wollen.Künstliche Intelligenz, horizontal regulieren und wollen dafür sorgen, dass.Die äh Innovationsfähigkeit erhalten bleibt, über die Risiken, die dadurch entstehen eben eingegrenzt werden und ähm da das ist jetzt dieses,nochmal also so ein riesiges Regelwerk, total komplex,ähm wo sich alle die Zähne dran ausbeißen und nach einem Jahr nach Veröffentlichung immer noch drüber gestritten wird, was ist denn jetzt eigentlich bedeutet, also in Teilen, ne und ob es die richtige Ansatz ist,Da mischen wir halt auch mit. Und damit's aber nicht ganz so abstrakt bleibt, also zum Beispiel ähm haben die eine relativ breite,Definition von Kaida eingeführt und gerade viele, die sich so mit ja KI und überhaupt Informatik und so auskennen.Haben das auch kritisiert und haben gesagt, ja hör mal, aber diese Definition von KI, die da drin steht, die umfasst doch am Ende fast jede Software.Ähm das finde ich nicht ganz richtig. Ich verstehe aber aus welcher Ecke das kommt, ne und dass die Leute sich dann wünschen so, das ist doch sowieso so ein so ein sehr fassi Begriff.Der oft einfach auch nur äh Schlangenöl ist, ne und dem stimmen wir hundertprozentig zu. Das ist aber genau das Problem, wenn man jetzt hinginge,und sagen würde, man definiert den ganz eng, ja, also das sind nur Systeme, maschinellen Lernens und äh so weiter,Dann läuft man halt Gefahr, dass das, was ich eben ja schon recht ausführlich beschrieben habe, diese Automatisierungssysteme, die weitreichende Auswirkungen auf Menschen haben können, dass die da nicht mehr drunter fallen.Die dann einfach nicht reguliert werden. Und dann hast du eben so eine Situation, bei der ähm zwar ein regelbasierter Algorithmus am Werk ist, der auch entstanden ist, weil zum Beispiel jemand durchaus,komplexe äh statistische Auswertungen gemacht hat, aber dann am Ende eben dadraus abgeleitet hat, so hier sind jetzt die Regeln für diesen Algorithmus, für diesen Entscheidungsalgorithmus,Und dann kommt es zu sowas wie dieser Situation in Holland, wo die ähm diese ähm ungerechtfertigten Nachforderungen da kommen, dann fällt das halt nicht unter diese Regulierung, ne,und da setzen wir uns zum Beispiel dafür ein, dass das breit bleibt, ne und versuchen eben auch zu erläutern, also auch den.Tekkies, die sich besser auskennen, warum das gerechtfertigt ist, dass wir das tun und dass wir nicht einfach blöde sind und wollen, dass jetzt also alle Software äh KI ist.

Tim Pritlove 1:13:15

Seid ihr da äh habt ihr einen eigenen europäischen äh Vertreter, also macht ihr konkret in Brüssel, jetzt Lobbyismus oder arbeitet ihr so mit anderen Gruppen zusammen, wie Edri oder so?

Matthias Spielkamp 1:13:25

Ja, wir arbeiten eng zusammen. Wir haben äh weiterhin keine kein eigenes Büro in.Denken da immer wieder drüber nach, aber das ist jetzt auch nicht einfach eine Entscheidung, die wir treffen können, weil es sehr teuer ist, ne? Also äh.Da müsste man also Brüssel ist eine teure Stadt. Wenn wir da jemanden beschäftigen wollten, die Person müsste viel Erfahrung haben. Das heißt also, da kann man auch keine Anfänger in nehmen, ne?Das kostet eine Menge Geld und ähm das haben wir natürlich nicht einfach so. Und dann kommt noch dazu, dass es eben auch du hast Edri genannt, durchaus etablierte Organisationen und Netzwerke gibt auf europäischer Ebene und dieser.Diese KI-Verordnung ist das beste Beispiel, wir sind in einer sogenannten AI Corgroup, ja, also in der KI-Kerngruppe, das ist eine Gruppe von Organisationen, die,ähm sich zusammengeschlossen hat, um konkrete Änderungsvorschläge für diese KI-Verordnung zu erarbeiten und da sind eben solche Organisationen wie Edri, access now,ECNL ähm und so weiter sind da drin,ähm und wir versuchen uns gemeinsam die Arbeit aufzuteilen und zu sagen, also zu diesem Thema kennt sich jetzt Access Now am besten aus und zu dem Thema Averisen Watch und dann.Kümmern die sich da drum und die anderen unterstützen das und und dann veröffentlichen wir die aber ähm in den meisten Fällen gemeinsam. Das heißt, wir sagen dann, also das ist eine gemeinsame Position von uns, damit das eben mehr Kraft entfaltet,So versuchen wir in in Brüssel Einfluss zu nehmen und dazu kommt aber auch, dass wir ähm als gerade natürlichen Organisationen, die in Deutschland beheimatet ist, also wir sagen schon immer.Sind keine deutsche Organisation, wir sind eine internationale Organisation, aber klar sind wir sehr deutsch geprägt,und das versuchen wir zu unserem Vorteil zu nutzen, denn natürlich hat Deutschland als größtes Mitgliedsland der Europäischen Union einen sehr großen Einfluss und,der wird ja auch ausgeübt dann über den Rat der Europäischen Union, also die Vertretung der Mitgliedsstaaten, die ja in dem Gesetzgebungsprozessen mächtiges Wort mitzureden haben, ne,und da laufen wir natürlich dann zu den Ministerien, die äh für den AI Act zuständig sind und versuchen die dann auch davon zu überzeugen, dass unsere Forderungen.Gut durchdacht sind und richtig sind und da eingebracht werden müssen. Ne, also wir machen das dann auch über Bande.

Tim Pritlove 1:15:47

Ja, da ist halt auf jeden Fall noch auch eine ganze Menge ähm ja, da es eine ganze Menge äh zu heben. Ich meine, es ist im Frühjahr ähm Begriffsmarkt auch, nicht, das hast du ja,äh angesprochen, also es ist sehr schwierig da irgendwas zu bringen und auf der anderen Seite äh kann ich gut nachvollziehen, ne? Das wollen sich Dinge auch offen lassen müssen, weil ich meine, ist ja auch gar nicht so lange her, da war auch Machine Learning.In gewisser Hinsicht so ein ewiger Fels,ne? Also es war so ein Versuch und es war so ein Forschungsteil der Informatik und es war immer so, hm ja lass die mal machen und so weiter, die95 Prozent kippen die Systeme dann immer um, ne, so ein bisschen so dieses äh Valley so der Informatik und.Irgendwann gab's dann halt den Durchbruch und auf einmal waren die Anwendungen da und dann ging's auch so schnell, ne, mit Bildererkennung undTexterkennung und automatische Sprachübersetzer und so weiter, dass die Implikation natürlich jetzt irgendwie mega sind und genauso kann man sich natürlich auch vorstellen, auch wenn ich das jetztbenennen könnte, was es wohl vermutlich sein wird, aber irgendein neuer äh formatischer Durchbruch, ja, der jederzeit stattfinden kann, der eben,doch auch wieder nochmal ganz andere äh Algorithmen, Wesen äh schafft, die wir derzeit noch gar nicht so richtig absehen können. Mhmvielleicht so zum äh Schluss würde ich gerne nochmal kurz auf die anderen äh Punkte oder Bereiche, die du äh genannt hast, weil jetzt haben wir sind wir vom Public Sektor quasi so auf äh ziemlich breitesfällt nahezu auf alles äh gekommen, aber vielleicht kannst du ja nochmal so ein bisschen konkretisieren, inwiefern die anderen äh Bereiche jetzt auch thematisch abtrennungswürdig sind und wo da so euer Fokus liegt. Also du hattest ja äh gesagt so Automaticion makingPublic Sektor und dann Publix vier, also öffentliche Meinungsbildung, also du hast es schon konkret auf Meinungsbildung gelegt, also,klingt jetzt sozusagen medien, Social Media, et cetera. So klingt das für mich.

Matthias Spielkamp 1:17:42

Genau, ich ich würde sagen, ich mache mal so einen Volumenschlag über die drei und du suchst dir raus, worüber wir noch reden wollen. Ähm also die ähm.Auch im Englischen ist Public vier ein umstrittener Begriff ähm im Sinne von bezeichnet der wirklich das. Es geht um die Konstituierung von Öffentlichkeit,und die passiert natürlich an ganz vielen unterschiedlichen Stellen, aber ähm der Medienmarkt und äh die Art, wie wir diskutieren und die Plattform, über die wir diskutieren, spielen natürlich eine sehr, sehr große Rolle und,Ähm deswegen ähm beschäftigen wir uns eben damit. Es wird dann auch genannt Platform Governance, also ne, die Regulierung von Plattformen,aber da, dass es auch wiederum nicht perfekt, weil unter die Plattforms natürlich auch Amazon und Uber und Airbnb und so fallen, ne,So, also jedenfalls wir fokussieren uns schon auf die ähm,auf die Plattformen, äh bei denen's äh um Informationsvermittlung geht, die jetzt auch zu einer ebenpolitischen Meinungsbildung beitragen sollen.Also Facebook, Instagram, Twitter, YouTube, durchaus auch Google Search, ne? Und ähm und und und äh solche Plattformen. Und da,glaube ich müssen wir können wir vielleicht sagen, da haben wir schon drüber gesprochen, weil das eben in erster Linie dieses DSA-Thema ist, ne?Sind der Ansicht. Wir müssen sehr viel mehr darüber wissen, wie die Plattform wirken und da brauchen wir erstmal diesen Datenzugang.Und dann äh gibt es ähm ADM im äh am Arbeitsplatz.Und da geht es uns in erster Linie um das, was dann oft so People Analytics genannt wird. Das heißt, da versucht man rauszufinden.Wie welche äh Arbeit leisten die Leute am Arbeitsplatz? Ähm kann man dadraus was ableiten darüber, ob jemand gefördert werden sollte.Kann man Entscheidungen darüber treffen, wer entlassen werden sollte ähm und so weiter und so fort. Ist also auch durchaus weitreichend und,Gerade am in diesem System Arbeit haben wir ja auch wieder eine Situation, in der,Leute keine Wahl haben, also eine sehr geringe Wahl, ne, bei jetzt ähm der Frage nach Informationsvermittlung, gibt's immer noch das Argument.Ja, also wenn's dir bei Facebook nicht gefällt, geh halt zu einer anderen Social-Media-Plattform.Ich glaube, wir wissen, wie blöd dieses Argument.Ja genau, aber es ist steckt schon auch noch eine eine gewisse äh also es steckt schon eine gute Begründung drin, denn natürlich müssen wir auch Verantwortung übernehmen. Wir selber, ne? Und wenn wir Facebook halt stinkt.Dann muss ich auch sagen können, ich gehe da nicht mehr hin, aber wie gesagt, da will ich jetzt nicht wieder einsteigen, das das füttern zu weit,wogegen eben bei der öffentlichen Hand wir uns ja nicht aussuchen können, welche Arbeitsagentur ähm für mich zuständig ist oder welche Polizei patrouilliert oder so. Da habe ich keine Entscheidungsfähigkeit drüber.Und am bei dem System Arbeit ist es ja ähm so ein bisschen dazwischen. Natürlich kann ich meinen Job kündigen,Ja, aber wenn das der Preis ist, den ich dafür bezahlen muss, zum Beispiel nicht,mit solchen People Analytic System durchleuchtet zu werden, dann würden wir alle sagen, der ist zu hoch und deswegen ist das Arbeitsrecht ja auch der Versuch,ähm an so einer Stelle einen Schutz zu bieten, ne? Und das ist also schon nochmal was ganz anderes. Und dann ganz schnell noch ähm Nachhaltigkeit, da haben wir da versuchen wir eben ein bisschen die Diskussion darüber anzustoßen, nicht so sehr.Es gibt dieses Narrativ AI for Good, ne, so hey, wir können AI dafür verwendenKlimawandel zu beenden und die Gerechtigkeit äh auf der Welt zu schaffen und den Hunger zu bekämpfen und so weiter, ne. Alles geht ja mit KI, ne, ist also alles am Ende ist alles gut.Wissen wir ja und ähm und wir sagen ja, wir sollten aber auch drauf gucken, was sind eigentlich die Nachhaltigkeits ähm,und auch äh Probleme bei bei der Produktion von solchen Systemen selber. Einmal riesige Datenmodelle, die auch Ressourcen verbrauchen, zum zweiten aber auch,Labeling von Daten über Clickwork-Plattformen ne unter schlimmen Bedingungen ähm oder auch Content-Moderation und sowas, ne?Also dadrauf zu gucken, was ist denn eigentlich die und nicht die AI Forcetainability?Sind so die anderen drei Bereiche.

Tim Pritlove 1:22:11

Mhm. Ähm,Ja, es gibt viele äh Sachen, auf die man jetzt hier noch äh äh eingehen könnte, aber äh die Zeit läuft uns auch gerade noch ein bisschen davon, aber vielleicht so zum Schluss würde mich nochmal so ein bisschen interessieren, wie so dein,generell ist auf das Phänomen äh künstliche Intelligenz und wie damit umgegangen wird. Also klar, wir haben natürlich jetzt so einen Hype, ne und da haben wir ja auch schon mehrfach angesprochen.Ist so ein totales Buzzword und ne, damit verkauft sich Zeug und es wird von der Bundesregierung gefördert und so weiter und es äh eigentlich ja auch so ein so einalles oder oder gar nichts Begriff. Also jeder kann irgendwie alles irgendwie AI nennen, wenn irgendein Stück Software äh am Ende irgendeine Ausgabe macht, ne, sagt man ja, ist alles totalkünstliche Intelligenz. Aber,Wir kommen ja nun auch immer mehr in diesen Bereich. Man sieht es jetzt eben konkret bei diesem erfolgreichen Modell Machine Learning, wo auchdie Entscheidungsfindung als solche der Systeme ja gar nicht mehr nachvollziehbar ist. In dem Moment, wo wir von Algorithmen sprechen, ja, was ihr ja so ein bisschen im Titel habtist es ja so, okay, dass das ähLege dir eine gewisse Nachvollziehbarkeit nahe, ne? Da werden die Daten von da und da genommen, dann läuft das durch den Algorithmus, das kann man sich anschauen und eins und 1 ist gleich zwei und fertig,Während wir ja jetzt mit diesem Machine Learning an so einen Punkt gekommen sind, wo ja eigentlich niemand mehr sagen kann.Basis von was jetzt hier eigentlich eine Entscheidung gefällt wird, weil es ja alles nur noch so ein relativistisches Gesamtgeschehen ist. Nur so. Es gibt eine bestimmte Wahrscheinlichkeit, dass irgendwasdamit bewertet wird oder damit bewertet wird und das dann Trioden an Datenpunkten mit eingeflossen und das System macht es schon irgendwie alles richtig, nurob es das wirklich richtig tut oder nicht ähm,kann man halt vielleicht beim Training diese Systeme noch beurteilen, mit dass es eine Katze und das ist ein Hund. Ja, aber so äh als Endnutzer, wenn man das System so quasi fertig hingestellt bekommt, dann ist es ja mehr als nur eine black,also selbst wenn man die Box aufmacht und Licht reinhält, wird man ja nicht schlauer.Wie gehst du damit um, was inwiefern prägt das äh auch eure Arbeit? Äh das ist ja auch sicherlich äh tägliche Diskussion beim Kaffee, nämlich nehme ich mal an oder zumindest wöchentlich in irgendeiner Form.Was glaubst du, wo geht die Reise hin.

Matthias Spielkamp 1:24:40

Das ist natürlich eine echt fette Frage zum Schluss, ne. Ähm aber ähm also.Der eine, das eine, was sich dadrauf zu sagen habe, ist, es ist so eine Art.Ich würde fast sagen, Falle, in die wir getappt sind oder ne, also die einen sind reingetappt, die anderen haben sie aufgestellt. Was meine ich damit? Du hast es schon angesprochen. Es gab lange.Schon die Diskussion über künstliche Intelligenz. Geht schon mal los, damit dieser Begriff, der ist damals geprägt worden, auch um an ähm Fördergeld zu kommen. Ja, es war halt ein sexy Begriff, ne? Hey, Artificial Intelligence, ne, so.

Tim Pritlove 1:25:15

Wobei der ist ja noch noch älter, ich meine den gab's ja schon in den 50er Jahren im Prinzip.

Matthias Spielkamp 1:25:20

Aber das meine ich. In diesem ersten Workshop, ne, damals wo das geprägt wurde, da ging's tatsächlich dadrum, dass die sozusagen den den Workshop machen um den machen zu können, brauchten die halt äh Förderung und deswegen.Ein Grund war, dass dieser Begriff halt so knackig ist.Den dazu prägen. Und ähm und das zieht sich so ein bisschen durch, weil wir haben natürlich dann so eine Vermenschlichung auch, die auch von vielen Seiten kritisiert wird von uns auch, weil,diese vermeintliche Intelligenz der Maschine hat halt mit menschlicher Intelligenz echt eigentlich nix zu tun, ne? Ähm aber klar, wir brauchen immer auch solche,und Analogien und ne, um uns eine Vorstellung zu machen. Das Problem ist dann aber, dass diese Vorstellungen mitunter einfach auch falsch sind und dann,so eine auf so eine falsche Fährte führen. Und das ist meiner Ansicht nach bei dieser ganzen KI Diskussion passiert, weil,Nachdem dieser sogenannte KI Winter dann vorbei war, also viele schiefgegangen ist und äh Leute dann auch äh massiv dadrunter gelitten haben,weil die einen halt große Versprechungen gemacht haben, die nicht eingehalten werden konnten und die anderen, die vielleicht etwas klüger auch unterwegs waren, ihre Forschungsförderung dadurch verloren haben. Irgendwann kam dann dieser Wendepunkt und dann ging auf einmal doch wieder ganz viel, ne?Und.Dann haben sowohl Wissenschaftler innen als auch ähm die äh kommerziellen Anbieter halt einen Riesen-Wind gemacht und haben wieder angefangen mit diesen Halsversprechungen, ne? So also,KI kann alles, ne? Magische äh Technologie und wir können jedes Problem damit lösen. Das hat wiederum dazu geführt.Dass Leute auch gesagt haben, ja, da sind aber auch massive Risiken damit verbunden, ja und was ja auch stimmt.Und auf der einen Seite, es ist ja auch, es sind ja auch tolle Sachen, die da entwickelt werden. Du hast das Beispiel gegeben von Übersetzung und so, ne? Da ist man einfach irgendwann an Grenzen gekommen ohne Machine Learning und und die sind dann überwunden worden dadurch und das ist ja auch geil, ja? So und dann,haben die anderen aber eben diese Risiken äh beschrieben,und das ist auch äh häufig absolut gerechtfertigt und dann kommt halt irgendwann die Politik auf den Plan und sieht also, oh, da muss irgendwie was gemacht werden, ne? Und,Gibt es einen Streit darüber? Also wir haben gegründet, als es noch einen eigentlichen relativ großen Streit darüber gab,sollte man jetzt versuchen KI zu regulieren, also was eigentlich nur ein Forschungsfeld beschreibt und gar kein so richtig.Umreisbarer Begriff ist,oder sollte man nicht in verschiedenen Sektoren schauen, was sind die Auswirkungen vom Einsatz solcher Systeme, wie etwa beim automatisierten Fahren, wie in einer Gesundheits äh Vorsorge, in der Diagnostik,und so weiter. Sollte man nicht lieber dadrauf gucken und sich nicht so sehr an diesem KI-Begriff festhalten.Und dann ist äh Ursula von der Leyen gekommen, ist EU-Kommissarin geworden, musste also Handlungsfähigkeit beweisen und hat sich hingestellt und hat gesagt, innerhalb der ersten 100 Tage meiner.Regierungszeit werde ich um meine Amtszeit werde ich Regulierungsvorschläge für künstliche Intelligenz vorlegen ne und all die sich mit dem Thema auskennen haben so entweder leer geguckt oder die Hände überm Kopf zusammengeschlagen.So gedacht, ach du Scheiße.Und in der Europäischen Kommission äh hat wahrscheinlich der ein oder andere so einen Halbherzinfarkt bekommen, weil die natürlich dann immer wissen, was das bedeutet, ne, also keine Wochenenden mehr die nächsten äh drei Monate.Und so weiter, ne? Und ähm ja und dann und das konnten sie natürlich nicht einhalten, das Versprechen, aber wenigstens haben sie dann so eine Art, dann gab's eine Expertenkommission und dann ach nee, Entschuldigung, die gab's vorherdann wurde so ein so ein Weißbuch wurde verfasst,damit konnte man dann zumindest argumentieren, man hat das eingehalten, diesen Zeitplan, ne und aus dem Weißbuch ist dann nachher dieser AI Act entstanden und neÄhm ich hoffe, das wird jetzt nicht zu äh ausschweifend, aber wodrauf ich halt hinaus will. Jetzt haben wir halt, ist, du hast den Zauberlehrling schon äh genannt als Beispiel heute. Das ist also KI ist in dem Sinne auch.Ne? Wir haben uns was geschaffen.Bei dem man mit Fug und Recht drüber streiten kann, ob's das überhaupt gibt, ja? Aber jetzt ist es da, denn wenn wir erstmal eine Regulierung für etwas haben, dann gibt's das natürlich auch,oder ein Regulierungsvorschlag. Und wir hätten das ja tatsächlich ganz gerne, wenn wir von diesem KI-Begriff quasi wieder wegkämen,Aber wir glauben auch, dass der Zug in dem Sinne abgefahren ist, weil.Wir jetzt auch das Problem haben, natürlich könnten wir sagen, wir brauchen keine keine KI-Verordnung, dann würde aber auch das Positive, was da durchaus drinsteht, natürlich mit über die Wupper gehen.Und äh und und da ist man dann einfach in der normativen Kraft des faktischen einfach mal komplett gefangen.Und äh und und das ist halt die so eine Art äh Halbe Antwort dadrauf, ne, weil die andere Hälfte ist natürlich so, ja.Was glaubt man denn, was was diese Systeme leisten können und jetzt hatten wir ja gerade diese Woche erst die Geschichte von diesem Google Jana.Der meint, er hat also jetzt erkannt, dass der Chatbot tatsächlich ein Bewusstsein hat und so einen Quark, ne.Denkst du also auch okay, ist das jetzt ein Marketing-Gag, ne? Ist das also alles äh ist das gecastet oder was ist denn das jetzt wieder für ein Quatsch, ne?Aber.

Tim Pritlove 1:30:48

Warten wir erstmal, wenn äh Tesla richtig loslegt. Ich meine, das die sind ja da auch in dem äh Zauberlehrlings Business auch ganz munterunterwegs und haben jetzt ihren nächsten AI Day äh angekündigt und komme ja jetzt schon mit humanoiden Robotern, aberihr habt das Begrifflich schon ganz gut eingefangen, weil ich meine, am Ende ist es wahrscheinlich auch irgendwo egal, ja. KI ist Wischiwaschi-Begriff, er wird es wahrscheinlich immer bleiben und in gewisser Hinsicht ist es auch,gut, weil es dann äh in gewisser Hinsicht auch die Zukunft, von der wir noch nicht genau wissen, äh was sie da noch alles mit dazustellt aufs Regal.Schon mit abdeckt und letztlich ist wahrscheinlich dieser ADM-Begriff, diese automatisierte Entscheidungsfindung auch.Das Relevante auf der Arbeitsebene, weil das ist ja eigentlich das, was uns wirklich besorgt, ne? Also wenn Verantwortung übernommen wird oder Verantwortung abgegeben wird, noch schlimmer an äh Systeme irgendeiner Bauart,Ja? Du stellt sich ja generell eben die Frage, okay, wer ist denn jetzt schuld oder wer ist verantwortlich dafür, dass bestimmte Prozesse in Gang gebracht wurden oder nicht in Gang gebracht wurden?Schon genug Streit, wenn irgendwie der Notfalltag zur Katastrophe ist und keine Sirene mehr heult und irgendwie die Handys äh keine Informationen ausspucken und alle zeigen gegenseitig.Wir erleben ja einen zunehmenden Maße, dass eben so ja das war ja ein Fehler in der Software. So aha mhmUnd wer hat die gemacht? Und wer wer steht da sozusagen für also ich denke, das sind so die die Dinge, die sich wahrscheinlich auch in der nächsten Zeit noch äh klären müssen, während eben diese reine informatische Begriffswelt, die die läuft äh davon und wir sehen das ja auch mitBlockchain, mit wie viel Bullshit, Bingo äh da gearbeitet.

Matthias Spielkamp 1:32:34

Oh ja, oh ja.

Tim Pritlove 1:32:36

Gut äh Matthias, lass uns äh an dieser Stelle zu Ende kommen. Ich sage vielen, vielen Dank für die Ausführung zu äh Algorishm Watch und all dieser Gedankenwelt, mit der ihr euch äh auch ganz konkret aktivistisch beschäftigt.

Matthias Spielkamp 1:32:50

Mhm. War mir ein Vergnügen.

Tim Pritlove 1:32:53

Ja, mir auch und ähm ja, ich äh.So den Eindruck da werden wir noch öfter auch äh drauf zu sprechen kommen auf diese Themen und jetzt natürlich konkret, wenn's um solche EU-Verordnungen äh geht und den Digital Service Act hat ja schon erwähnt, haben wir ja hier auch schon äh Aspeäh besprochen, allerdings den Aspekt, den du jetzt hier mit reingebracht hast, woran ihr wart. Den hatten wir so noch gar nicht auf der Liste. Ist ja auch ein relativ großes Werk.Insofern, ja, vielen Dank für eure Arbeit und vielen Dank für deine äh Präsenzball-Log Buchnetzpolitik.

Matthias Spielkamp 1:33:25

Ja gerne, darf ich, darf ich ganz kurz am Schluss noch sagen, wir wollen ja mehr äh Kleinspenden von Leuten, ne, damitunabhängiger werden auch von den von den Stiftungen, die uns fördern, ne, weil die natürlich auch alle eine Agenda haben. Wir mögen die natürlich alle wahnsinnig gern, ne, aber dauerhaft wär's natürlich.Individuen unterstützen würden. Jetzt wenn du wenn du sagst, das steht in Konkurrenz zu deinem eigenen Spendensammeln, dann.

Tim Pritlove 1:33:48

Nein nein.

Matthias Spielkamp 1:33:49

Raus, ne? Aber aber äh wir freuen uns natürlich sehr darüber, wenn Leute uns auch direkt unterstützen, weil ja manchmal die Frage ist, was können wir denn tun.Und äh das eine ist natürlich immer gerne ähm uns finanziell unter die Arme zugreifen.

Tim Pritlove 1:34:04

Das hätte ich jetzt eh noch äh erwähnt. Das gehört hier auch zum äh Ton. Ich denke auch, dass die Spendenmodellegenerell sehr wichtig sind aus den Gründen die du schon genannt hast ne ich war also äh Förderung alles super aber die kann auch schnell mal wieder entzogen werden wenn's dann äh mit der Arbeit dann doch zu sehr schmerzt.Ne, also in den Ergebnissen und von daher äh denke ich mal ist das äh der Weg, den man auch gehen sollte und nicht nur auf ein einziges Pferd setzen.Genau, den Link findet ihr auch in den Shownotes, wie auch alle anderen, äh äh Links, äh die wir hier genannt haben. Ich hoffe, ich habe keinen vergessen. Ja und dannbleibt mir nix anderes als noch mal danke zu sagen und ich sage danke fürs Zuhören tschüss und äh bis zur nächsten Woche. Bis bald.

Shownotes

Algorithmen und Journalismus

mobilsicher.de: Startseite – mobilsicher.de

AlgorithmWatch

algorithmwatch.org: AlgorithmWatch
algorithmwatch.org: Lorenz Matzat – AlgorithmWatch
de.wikipedia.org: Konrad Lischka – Wikipedia
algorithmwatch.org: AlgorithmWatch: Team
algorithwatch.de: Spenden für AlgorithmWatch

Automatisierte Entscheidungsfindung

rechtspraak.nl: SyRI legislation in breach of European Convention on Human Rights
netzpolitik.org: Österreich: Jobcenter-Algorithmus landet vor Höchstgericht
digital-strategy.ec.europa.eu: Der Verhaltenskodex für Desinformation von 2022 | Shaping Europe’s digital future

OpenSCHUFA

openschufa.de: OpenSCHUFA
interaktiv.br.de: Erhöhtes Risiko

KI-EU-Verordnung

algorithmwatch.org: Civil society calls on the EU to put fundamental rights first in the AI Act – AlgorithmWatch
edmo.eu: EDMO releases report on researcher access to platform data – EDMO

9 Gedanken zu „LNP432 AlgorithmWatch “

Christoph sagte am 18. Juni 2022 um 14:28 Uhr :

Hallo, wenn sich jemand Wohngeld oder sonstige Leistungen erschleicht, gehört diese Person für mich in die Kategorie „Betrüger“ und nicht in die der „sozial Schwächsten“.

Viele Grüße,
Christoph (ein treuer Hörer)

Antworten ↓
Michael Kreil sagte am 18. Juni 2022 um 23:29 Uhr :

Vielen Dank für die Arbeit von AlgorithmWatch und diese Folge.
Ich glaube jedoch, dass noch ein ganz aktueller Punkt gefehlt hat: Die in der EU-Kommission debattierte Chatkontrolle ist ebenso ein automatisiertes System, dass durch perceptual Hashing in allen Messengerdiensten darüber entscheiden soll, ob Inhalte als illegal eingestuft und ausgeleitet werden sollen.
Davon abgesehen, dass man aus den Hashes teilweise die Bilder rekonstruieren kann (https://www.anishathalye.com/2021/12/20/inverting-photodna), lassen sich Bilder so manipulieren, dass sie beliebigen Hashes entsprechen. Daraus ergibt sich ein bunter Strauß an Attacken (https://eprint.iacr.org/2021/1531.pdf). U.a. kann man auch harmlose Fotos in den Index illegale Hashes injecten.

Antworten ↓
Abkueko sagte am 19. Juni 2022 um 08:36 Uhr :

Weil das Thema der Steuerprüfung nur kurz angerissen würde:
Das wird schon sehr lang so gemacht und ist noch relativ unproblematisch.
An sich ist das eine reine Plausibilitätsprüfung im Sinne von „Spenden bis x% des Einkommens sind plausibel“. Was ich dabei wichtig finde: Als auffällig markierte Werte gehen dann einfach in die Überprüfung durch einen menschlichen Sachbearbeiter. Man war also so klug nicht den Algorithmus etwas ablehnen zu lassen.
Die Schwellen zur manuellen Prüfung sind relativ sensibel.
Gespart wird dadurch nur der Teil der beim früheren Sachbearbeiter auch ein reines Überfliegen war.

Das Betrugspotenzial ist eher gering. Solang man die Schwellwerte nicht kommuniziert kann das kaum missbraucht werden. Im Sinne der Transparenz könnte man die grundlegende Funktion durchaus öffentlicher kommunzieren. Die Schwellwerte zu verschweigen finde ich da nicht schlimm.

Antworten ↓
- LittleSamurat sagte am 23. Juni 2022 um 11:20 Uhr :
  
  Nein, das ist ein Riesenproblem. Diese Grenzen sind unter Steuerberatern bekannt, vielleicht stehen sie auch in Steuerspartipbücher. Damit können Leute mit Geld (oder die sich da reinfuchsen können) viele solcher Dinge ausnutzen, der Normalo zahlt dann dafür.
  Das hat natürlich wenig mit Algorithmen an sich, sondern mit unserem Steuersystem zu tun.
  
  Antworten ↓
cryptopunk sagte am 20. Juni 2022 um 07:54 Uhr :

Psychologie von Corona – Massenpsychose und Massenformation (Interview Mattias Desmet)

Das Interview ist interessant.

Es zeigt gut, dass man den Kult nicht überzeugen kann, aber zumindest Grausamkeiten gegen Menschen, die dem Narrativ nicht folgen möchten, verhindern kann. Also Zensur ist der Schlüssel. Wenn so etwas wie ein Wahrheitsministerium oder Zensur eingeführt wird, dann ist es Zeit zu fliehen.

Antworten ↓
Robe wald sagte am 20. Juni 2022 um 12:56 Uhr :

Danke für eine sehr interessante Folge. Mir ist aufgefallen, dass der Aspekt der Zementierung von gesellschaftlichen Realitäten ziemlich untergegangen ist. Wie ihr angesprochen habt so haben Entscheidungen von Algorithmen durchaus das Potential besser als menschliche Entscheidungen zu sein, z.B. nicht zu diskriminieren. Wenn die Algorithmen allerdings mit Daten trainiert werden, die die Diskriminierung direkt oder auch indirekt enthalten, so werden die gesellschaftlichen Realitäten unabänderlich. Wie dieses Problem angegangen werden kann ist mir nicht ganz klar. Eine Art des Vergessens ist notwendig, aber die muss sich auch in einem Verlernen in den Algorithmen äussern. Wie man sowas implementiert und reguliert ohne von vorn anfangen zu müssen würde mich interessieren.

Antworten ↓
Eike sagte am 23. Juni 2022 um 13:35 Uhr :

„Wenn die SCHUFA ihren Algorithmus offenlegen würde, dann würde der Algorithmus unsere Handlungen bestimmen (da wir uns danach richten würden), und das wollen wir ja auch nicht“ ist IMNSHO Quatsch: Der Algorithmus existiert und greift in unser Leben ein, ob er öffentlich ist oder nicht. Und wenn der Algorithmus den Score reduziert wenn eine dritte Kreditkarte bestellt wird, dann tut er das auch ob er öffentlich ist oder nicht, aber nur wenn er öffentlich ist kann es eine Debatte geben ob wir das wollen oder nicht.

Antworten ↓
Martino sagte am 24. Juni 2022 um 08:32 Uhr :

Wenn der Algorithmus öffentlich ist, wird sich natürlich niemand die dritte Kreditkarte bestellen. Stattdessen wird die Überschuldung dann anders gehandhabt. Damit ist der Schufa-Algorithmus wertlos.
Dass die Schufa das nicht will, ist klar.

Man muss jedoch anerkennen, dass in diesem Szenario natürlich auch der ganze Schufa-Score Banken etc. weniger bis gar nicht verwendet werden wird.
Wollen wir das? Schwierige Frage, auf die ich keine Antwort habe.

Was jedoch nicht passieren wird, ist, dass wir einen gesellschaftlich definierten Score bekommen, der zukünftig von allen verwendet wird. Dafür wird ein solcher Score, insb. gegenüber privatwirtschaftlicher Konkurrenz (sofern noch vorhanden), viel zu schlecht (d.h. unprofitabel) sein.

Antworten ↓
Oliver sagte am 25. August 2022 um 15:31 Uhr :

Auf den Telefon-CDs der Post bzw. Telekom ging doch damals in den 90ern auch schon reverse-Lookup mit dem Tool „tbb“.
Zumindest für die CD’s ohne Verschlüsselung ging das. Danach hatte der Autor des Tools keine Lust mehr auf den Extra-Aufwand.
Neben dem Reverse-Lookup war das Tool einfach deswegen schon gut, weil man unter Linux auf der Kommandozeile normale Lookups machen konnte.
Kein Windows oder Wine notwendig für eine Telefonbuchsuche.

Antworten ↓