Linus Neumann 0:04:47
Sie haben zur ersten, die haben zur ersten vierbeinigen Roboter gemacht, der ist da irgendwie rumgegangen und dann war irgendwie das Video,Das Video, um zu zeigen, wie geil ihr Roboter war, ist warder läuft irgendwie einen Gang runter, so ein typisches Bürogebäude, alle zehn Meter oder alle fünf Meter eine TürRoboter läuft er lang, freut sich irgendwie so oder freut sich eben nicht, weil der Roboter hat keine Gefühle, deswegen braucht, ne? Er braucht ja keine Ethik und so. Aber Roboter läuft es, den Weg daher und dann kommt er jetzt so aus dem Seitengang einer und kickt den seitlich,So und dann macht der Roboter einen Ausfallschritt. Ähm fällt nicht auf die Schnauze und läuft weiter und das demonstriert eben dieGehfähigkeit dieses Roboters. Das schon vor ein paar Jahren, als sie diesen Vierbeiner rausgebracht hat. So, jetzt kommt dieser Zweibeiner. Haben sie wieder ein Video gemacht? Was passiert? Roboter geht,durch den Wald wird von einem Menschen durch den Wald geführt, um zu zeigen, dieser Roboter kann oder begleitet eigentlich, ja? Um zu zeigen, dieser Roboter kannauf unwegsamen Gelände und dann ist mal irgendwie, da liegt ein Laub und dann haben ist da eine kleine Grube, dann dann stolpert der und fängt sich aber und läuft da durch. Um eben die Überlegenheit äh dieses Roboters zu zeigen oder die die technische,dieses Roboters zu zeigen, weil eine der Sachen, die die große Herausforderung ist für Maschinen, für Roboter und alles ist der menschliche Gang. Also die Dinge auf auf Rädern rumfahren lassen, alles klar,aber kaum etwas ist.So versatil wie der menschliche Gang und die Möglichkeit Gleichgewicht zu halten, ne, wenn man uns zwingt oder wenn da oben was ist, dann klettern wir auch mal auf den Baumjaund werfen von oben Eier auf die anderen oder so, ne? Aber wir können also, nichts ist so kein kein Antrieb ist so vielseitig, äh wie wie der aufrechte Gang des Menschen. Und genauso ähm,wenig oder nichts ist so vielseitig wie das Greifinstrument Hunt, das der Mensch hat. Und danach Streben die ganzen Roboterhersteller, um uns dann irgendwann obsolet zu machen.Noch sind sie dann nicht so weit, aber okay. Also, die führen diesen Roboter durch den Wald und demonstrieren, der kann äh kann durch den Wald gehenSo, in eine einsame Lagerhalle, wo sie ihm die Aufgabe geben, Kisten in Regale zu räumen. Und wenn er dann so, dann nimmt er so eine Kiste und dann kommt halt dieser Mann,und schlägt ihm die Kiste mit einem Eishockeyschläger aus der Hand. So und der Roboter,lässt sich durch nichts beirennen, hebt die Kiste wieder hoch, dann steht er eben die wieder aus der Hand, schlägt die Kiste sogar mit einem Eishockeyschläger weg. So, dann hebt der Roboter versucht irgendwie verzweifelt diese Kiste zu nehmen und wieder und irgendwie in das Regal zu stellen, dann hat das irgendwann ins Regal gestelltund dann wird weder mitm Baumstamm von hinten umgeworfen. Legt sich auf die Fresse, ähund macht ein ziemlich smoothen Aufsteher, den ich in der Form nicht hinkriegen würde, weil ich ja auch hier in der Mitte ich sitze ja nur am Computer, ich kriege ja nicht so viel Excess heiß, wie so ein Roboter. Und am Ende, als er dann umgeworfen wurde, wird, geht er aus diesem Gebäude raus.So, für einen, äh was ich an diesem Video so spannend finde, ist für einen Menschen, der da schaut, ist es kaum zu verhindern,irgendwie eine Art von Mitgefühl für diesen Roboter zu bekommen oder sich sozusagen oder arme Roboter, ne, oder oder überhaupt diese Storyline auch. Der Roboter wird durch einen,in eine einsame ähm,Halle geführt, muss dort Arbeit verrichten, wird dabei geärgert und gefoltert und gequält und flieht dann irgendwann in die Freiheit, ja?So, diese Leute, dieses Unternehmen ist in der Lage, solche Roboter zu bauen, die zweifelsohne äh beeindruckende technische Fähigkeiten haben. Aber die sind offenbar nicht in der Lage,ein vernünftiges Werbevideo zu machen. Aber mit Sicherheit sind sie das ja, das heißt, sie haben sich genau etwas dabei gedacht, dieses Video zu releasen.Im Zweifelsfall einfach, dass es viral geht. Was sie aber, glaube ich, vergessen haben, ist, dass dieser scheiß Roboter sich das merken wird und in zwanzig Jahren zurückkommt,und dann kommen seine,dann dann wundern wir uns, warum die Terminatoren auf einmal so knatschig waren.
Ich vermute, dass durch autonome Fahrzeuge aufgrund der Notwendigkeit, halten zu können, bevor was passiert, der Autoverkehr in bewohnten Gegenden mit ihren Fußgängern, Radfahrern und vielen möglichen unvorhergesehenen Ereignissen vor allem eins wird:
Viel langsamer :):)
So langsam, wie man heute schon in solchen Gegenden fahren müsste – dann wirds das autonome Fahrzeug weiter vorn durch seine Vorsicht halt für alle Anderen erzwingen, weil ja im Weg.
Und sobald sich zeigt, wie viel weniger passiert, wenn man so vorsichtig herumschleicht, wird max. 15 km/h abseits von für Fußgänger gesperrten höherrangigen Straßen wohl auch auch zur gesetzlichen Norm.
Und zum ersten Mal, seit es Städte gibt, gehören die dann wieder den Fußgängern, und nicht mehr durchgehenden Pferden, schlecht gebremsten Bierkutschen oder Autos, die mit 50 km/h durch enge Gassen zischen :):):)
Sollte dies so sein, könnte die kreditvergebende KI aber auch lernen, dass das Ausfallrisiko eines Kredites wirtschaftlich durch die Mehreinnahmen einer liberalen Ausgabepraxis aufgewogen werden kann. So könnte die Einbeziehung von zusätzlichen Informationen trotz knallharter Differenzierung durch die KI das wirtschaftlich notwendige Diskriminierungsübel auch zu einem gewissen Grad entschärfen. Könnte… ;-)
Versicherungen können schon rechnen.
Die Frage nach der Diskriminierung von KI wurde gut in einem Talk bei 32C3 behandelt, siehe Andreas Dewes: „Say hi to your new boss: How algorithms might soon control our lives“ (https://media.ccc.de/v/32c3-7482-say_hi_to_your_new_boss_how_algorithms_might_soon_control_our_lives)
Mich wundert es, dass der Talk nicht erwähnt wurde? Dort wurde das Szenario von Linus im Falle von Recruiting durchgespielt und um einiges klarer dargestellt. Die Problemstellung: Auswahlprozesse diskriminieren per Definition. Aber es gibt bestimmte Kriterien, nach denen nicht diskriminiert werden sollte (oder nicht darf, laut Gesetz). Die einfache Annahme ist: In dem man dem Algorithmus diese Merkmal nicht beibringt, kann es auch nicht danach diskriminieren. Andreas Dewes zeigt, dass dies falsch ist. Das Phänomen nennt er „discrimination leakage“ (glaube ich) von nicht erlaubter Diskriminierung in die Entscheidungen der KI. Das große Problem dabei ist, dass nicht mehr nachgewiesen werden kann, dass entlang dieses Kriterum diskriminiert wurde.
Ich verstehe daher nicht ganz die saloppe Art der Rechfertigung von ungewünschter oder gesetzlich verbotener Diskriminierung, die Tim und Linus über die Lippen gegangen ist. Um bei der Anstellungsproblematik zu bleiben: Findet ein Unternehmen heraus, dass die Anstellung von Frauen mehr Kosten verursacht, darf dies eben kein Grund sein, um Männer gegenüber Frauen vorzuziehen.
Würde man der KI das Merkmal „Geschlecht“ vorenthalten und würde die KI durch die Daten lernen, dass eine Gruppe G mit bestimmten Merkmalen (z.B. Mutterschutz, etc.) mehr Kosten verursacht, kann dies eben kein Grund sein, um einen abgeleiteten Prädiktor zu verwenden, der Männer gegenüber Frauen bei der Anstellung bevorzugt.
Es gibt den „neutralen“ Begriff von Diskriminierung (im Sinne von „Unterscheiden“) und benachteiligende Diskriminierung als ethisches und rechtliches Konzept, das Diskriminierung anhand von bestimmten Merkmalen untersagt. Letztere schränkt erstere ein.
PS: Fazit: Genau so wenig wie „Effizienz“ ein Grund für benachteiligende Diskriminierung bei menschlicher Entscheidungsfindung ist, so ist „Effizienz“ auch kein Grund um diese Diskriminierung bei KI zu erlauben. (Wie man das implementiert, ist eine andere Frage.)
Oder hab ich etwas falsch verstanden?
Wie soll die KI lernen? Wenn sie sagt „Kein Kredit“ – dann gibt es keinen weiteren Feedback. Also kann kein Fehler(der Kunde ging zur nächsten Bank und hat den Kredit brav zurückgezahlt) erkannt werden. Und – sie kann ja bei der Kreditvergabe nicht gegen sich selber spielen.
Das Argument ist im Wesentlichen das, was Linus vorgetragen hat, und ich moechte dem widersprechen.
Der Fehler liegt meines Erachtens darin, dass die input Parameter nicht diskret sondern (in guter Naeherung) kontinuierlich (wie sagt man ‚continuous‘ auf deutsch?) sind. Und hier wuerde man erwarten das der Ausgabewert (zb die Wahrscheinlichkeit einen Kredit zu bedienen) eine stetige Funktion ist.
Wenn die KI also in ihren alten Entscheidungen sieht, dass kurz *vor* dem eigenen threshold (wo also noch gerade ein Kredit akzeptabel war) die reale Rueckzahlrate sehr hoch ist, kann sie schlussfolgern (stetige fktn …), dass der Erwartungswert auch hinter dem threshold noch recht gut ist und dementsprechend diesen Parameters anders gewichten.
Die einzige Frage ist, wie effizient dieser Lernweg ist. Er fuehrt (meistens) zum Ziel, aber es waere sicherlich (fuer das Lernen) effizienter gelegentlich absichtlich falsche Entscheidungen zu treffen, d.h. zu experimentieren.
Hier hat L. recht, das ist aber grundsätzlich das Problem von Systemen, die an vorhandenen Daten rechnen, aber versuchen, die Zukunft vorherzusagen.
Wäre übrigens ein spannendes Forschungsfeld, aber „nicht einfach“ umzusetzen. Man könnte zum Beispiel Pädokriminelle oder extrem blutrünstige Rassisten randomisiert aus der Haft entlassen, um dann zu schauen, welches statistische Modell dann besser passt bzw. ein negatives Ereignis besser vorhersagt. Viel Spass beim Einreichen des Forschungsantrags!
Wildhuende
Wieso denn nicht? Genau das wäre ein sinnvolles Design.
siehe hier
siehe comment-96870
[a href=“test“]test[/a]
Drumpf, der Mann heist Drumpf!
Ich fand Trumpelstilzchen eigentlich recht passend.
Von dem Atlas Video gabs ne Version wo ne Stimme immerwieder „Where is the box“ & „go get the box“ sagte, teilweise mit Lachen..
… fand ich echt schrecklich, auch wenn das um ne Maschine ging. Leider finde ich diese Version nicht mehr.
Natürlich kann man alle möglichen Algorithmen bauen und diesen alle möglichen Datensätze in den Rachen werfen, um unter Geltung der Annahmen 1 bis n bestimmte Strukturen in diesen Daten zu finden oder nicht zu finden.
Aber die Grundprobleme sind eben nach wie vor philosophisch-ethische:
1. wer legt die Axiome fest und wie?
2. wer gibt den Ergebnissen/Schlussfolgerungen eine Bedeutung?
Es ist letztlich das altbekannte Problem der Semantik/Intentionalität und es nicht wirklich gelöst. Es gibt zudem berechtigte Zweifel, ob es (aus prinzipiellen Gründen) überhaupt jemals gelöst werden kann.
Natürlich kann man irgendeinen Algorithmus ausrechnen lassen, dass Person A einen Kredit zu 96,5% zurückzahlen wird, Person B aber nur zu 79,1%. Aber kein Algorithmus kann von sich aus sagen, was das in der realen Welt *bedeutet* bzw. *bedeuten sollte*. Soll man Person B einen Kredit geben oder nicht? Natürlich kann man irgendeinen Grenzwert oder sonstwas definieren, um das automatisiert zu entscheiden. Aber auch das muss wiederum jemand zuvor (willkürlich) festgelegt haben.
Am Ende braucht man halt immer Grundannahmen, die selbst nicht logisch begründet werden können, das ist das Grundprinzip jeder wissenschaftlichen Theorie. Daran ändert auch „big data“ und das ganze KI-Gerede nichts.
Wenn du einen Kredit zu 96,5% zurückzahlen wirst und zu 3,5% nicht und angenommen du kannst dich auf diese Werte verlassen, dann ist es ne simple Rechnung.
Zinseinnahmen * 0.965 – Kreditvolumen * 0.035 = Erwartungswert Gewinn
Wenn du nur begrenzt Kredite vergeben kannst machst du halt die mit dem höchsten Erwartungswert.
Praktisch ist das Problem damit aber gelöst, da braucht man keine Willkür und auch kein Bauchgefühl mehr, sondern nur simple Algebra.
Und selbst wenn der Entscheidungsprozess, nachdem du die Wahscheinlich bereits kennenst, noch signifikant Intelligenz erfordern würde, könntest du das Lernziel von dem Algorithmus auch so definieren, dass er quasi als Agent die Geschäfte auch durchführt, und ihn daran bemessen wieviel Gewinn er damit erwirtschaftet. (Wenn du die Wahrscheinlichkeit kennst, kannst du das Geschäft ja auch simulieren)
Zur KI:
Man würde die Bewertungsfunktion vermutlich nicht so implementieren, dass nur der insgesamt gemachte Gewinn bzw. Verlust betrachtet wird, sondern eher der Erwartete Gewinn pro Kunde über- bzw untertroffen wird.
Ich kann ja über alle Kunden ausmitteln, wie viel Gewinn mir ein Kunde im Durchschnitt bringt – wenn ich einen Kunden ablehne, dann habe ich diesen Gewinn automatisch nicht gemacht, was also auf jeden Fall schlecht ist.
Vergleichsparameter dürften in der Anfangszeit auch eher menschliche Komponenten sein: Also schafft es die KI besser, Kreditwürdigkeit zu beurteilen als ein Arbeiter, der das seit 20 Jahren macht.
Wobei ich denke, dass man hauptsächlich nicht Menschen, sondern Firmen beurteilen möchte. Die nehmen üblicherweise deutlich größere Kredite auf.
Zum Thema tracking habt ihr das hier nicht erwähnt:
https://www.google.com/transparencyreport/safebrowsing/?hl=de
„Ungefähr eine Milliarde Menschen nutzen Google Safe Browsing. Wir helfen jede Woche Millionen von Menschen, sich vor Schäden zu schützen. Dazu zeigen wir Nutzern von Google Chrome, Mozilla Firefox und Apple Safari Warnhinweise an, wenn sie auf Websites zugreifen, die personenbezogene Daten stehlen oder Software installieren könnten, um die Computer der Nutzer zu manipulieren.“
Man stelle sich mal vor, da wüsste jemand wo diese 1 000 000 000 Menschen so hinsurfen, weil deren Browser ungefragt die Daten übermittelt. Das wäre ja übel.
:-)
Also Linus rants sind diesmal etwas daneben meiner Meinung nach ;-)
Das Argument „wir brauchen keine ethischen Überlegungen zu selbstfahrenden Fahrzeugen weil die ja weniger Unfälle bauen“ ist doch wirklich offensichtlich großer Quatsch. Natürlich wird der massenhafte Einsatz selbstfahrender Autos ethische Probleme auf die Tagesordnung setzen, die bisher noch nicht auf der Tagesordnung standen (oder halt sehr sehr weit unten) und natürlich wird man dazu irgendwann irgendeine gesellschaftliche also politische Entscheidung treffen müssen (oder sich dazu entscheiden müssen, keine Entscheidung zu treffen, was auch eine Entscheidung ist.)
offensichtlichstes Beispiel wäre die vielzitierte Situation, dass ein selbstfahrendes Auto fünf unbeteiligte Fußgänger umnietet, um nicht in einen Bus zu krachen und potentiell 20 Passagiere umzubringen. Ist es ok, wenn der Algorithmus so gebaut ist, dass er lieber die fünf umbringt als die 20? Wenn nicht, wie darf er dann stattdessen gebaut sein? Darf er überhaupt eine Entscheidung treffen? Usw usf.
und es geht doch wohl nicht nur um irgendwelche finanziellen Entschädigungen.
oder wollen wir die Regeln unseres Zusammenlebens davon abhängig machen, ob Volvo Schadensersatz zahlt oder nicht?
Unser ganzes Zusammenleben ist davon bestimmt, wer Recht oder Unrecht hat, und wer zahlt.
Und dass ein Auto keinen Fahrer hat, macht es zum Autoautomobil. Das will sicherlich nicht jeder Fußgänger oder Fahrradfaher. Wird es eine Volksabstimmung zu „fahrenden Toastern“ geben?
Dieses Beispiel ist genau so offensichtlich für Philosophen, wie offensichtlich fernab von jeder Realität:
1. Dieses klassische moralische Dilemma tritt auch bei Menschen so gut wie nie auf, ist also ganz einfach kein realistischer Fall.
2. Das Auto weiß gar nicht, wie viele Menschen wo drin sitzen.
3. Träte es auf, wird das selbstfahrende Auto einfach NIEMANDEN umnieten, weil es sich schon vorher überhaupt nicht in die Situation begibt, wo es ein derartiges Risiko eingehen könnte, weil das Auto eben NICHT SELBST fährt, sondern alle Autos gemeinsam zentral gesteuert werden oder im Mesh miteinander kommunizieren.
Ich kann mir an dieser Stelle den Hinweis nicht verkneifen, dass in über 200 Jahren Eisenbahnbetrieb nicht ein einziges Mal das Trolley-Problem aufgetreten ist.
Das sollte reichen, um dessen praktischen Wert zu beurteilen. (Abgesehen von seiner Lehrfunktion für Philosophie-Erstsemester).
ad 1: Falsch, dieses Dilemma entscheiden jeden Tag unzählige Chauffeure, Schiffskapitäne, Busfahrer, Lokführer und Piloten. Ausserdem alle, die ein AKW fahren. Bei manchen kommt es häufiger und beim manchen seltener zu dieser Entscheidungssituation. Schätze, dass solche entscheidungen weltweit stündlich und nicht etwas „alle Paar Jahre“ gemacht werden.
ad 2: Die AI „weiss“, dass montags um 6 drei junge Männer im Elektrikerauto sitzen und dass um 7:30 auf dem Schulweg keine Windows-Programmierer die Strasse überqueren. Und der entgegenkommende Volvo ist rechnerisch ein besseres „Ziel“ als das Elektro-Velo, das bei einer Vollbremsung auf dich drauf fährt. Die AI wird den Schaden minimieren, wenn sie diese Informationen hat. Nur wer definiert den Schaden und bestimmt den Algorithmus dafür? Wer definiert die Parameter? Läuft das nach Lebensalter oder wird da noch das Einkommen regrediert? Oder spielt die rechnerische Ueberlebenschance nach Krankenkassen-Daten eine Rolle? Lieber den kleinen Dicken mit Diabetes-Risiko umnieten (weil er p < .05 häufiger das Taxi nimmt) oder den koks-freudigen Porsche-Fahrer, der die Situation verursacht hat, weil er "im Eifer des Gefechts" meinte, auf der linken Spur fahren zu müssen?
ad 3: Naive Technikgläubigkeit. Spätestens dann, wenn "deine kleine Tochter" vors Google-Auto rennt, um den Ball zu fangen, in einer Spielstrasse wo "eigentlich nichts passieren kann" wirst du vielleicht anders darüber denken.
Diese ständigen Überlegungen zu Regelwerken für die Auswahl eines Opfers sind alle Blödsinn, weil weder sinnvoll, noch machbar.
Sicherheitstechnik arbeitet immer mit dem Ansatz, dass NIX passieren soll, im Fall vollständig autonom fahrender Fahrzeuge im Straßenverkehr heißt dass, dass die Geschwindigkeiten entsprechend so angepasst werden, dass auch im Fall einer Überraschung immer angehalten werden kann.
Das macht den Autoverkehr wesentlich langsamer und die Art von Sicherheit, die man mit solchen Systemen schon allein rein rechtlich gesehen anstreben muss, erst möglich.
Politischer Druck seitens der Autofahrer, die keine langsamen Hinternisse im Straßenverkehr wollen, mag die Zulassung solcher Fahrzeuge verzögern, wird aber in keinem Fall dazu führen, dass Systeme gebaut und für den Straßenverkehr zugelassen werden, die im Stil einer vollautomatischen Selbstschussanlage einem Regelwerk folgend Entscheidungen über Leben und Tod fällen.
Jede Entscheidung muss mit dem Ziel getroffen werden, jeden Schaden zu vermeiden, und das heißt im Fall von einem Auto in einem bewohnten Gebiet ganz einfach stehen bleiben.
Autobahn funktioniert etwas anders, weil zum sofortigen Stehenbleiben Dinge wie auf freie Flächen Ausweichen und gezielt, aber maßvoll bremsen kommt, mit einem fließenden Übergang vom Fahren mit Abstandskontrolle hin zur aktiven Schadensvermeidung.
Die Situation auf einer Autobahn lässt sich gut mathematisch modellieren und von einer Logik im Stil eines Autopiloten meistens einigermaßen abdecken.
Bewohnte Gebiete sind dagegen Orte voller Überraschungen, wie Leute, die z.b. plötzlich ohne zu schauen hinter einem geparkten LKW hervorspazieren – da hilft nur die ƒUahigkeit, jederzeit extrem schnell zum Stehen zu kommen, verbunden mit einem kleinen Ausweicher in sehr eindeutigen Situationen.
Will man in einem bewohnten Gebiet mit dem immanenten Risiko, solche Leute zu verletzen, mit heute üblichen Geschwindigkeiten durch bewohnte Gegenden fahren, muss man halt selber die Kontrolle übernehmen und damit die Verantwortung.
Verantwortung übernehmen kann die Maschine nicht, das können nur indirekt der Gesetzgeber und die Herstellers, und bei den Herstellen kümmert sich um solche Fragen üblicher- wie sinnvollerweise der Antwalt vom Dr. Kelso aus Scrubs.
Es fehlt im Übrigen eine Editier-Funktion für Shecrifbehler,
Kapitalismus ist übrigens etwas anderes als Marktwirtschaft (empfehlenswert in diesem Zusammenhang ist „Der Sieg des Kapitals“ von U. Herrmann)
Vielleicht wäre es für die Terminator-mit-Elefantengedächtnis-Zukunft gar nicht schlecht, wenn wir den Robotern einen Platz in unserer Ethik einräumen. Dann könnten wir auf Gnade hoffen.
Zum Gedankenexperiment bezüglich Diskriminierung: Denkt das mal weiter mit der Prämisse „Hin und wieder muss auf Zufallsbasis gegen die erkennen Regeln verstoßen werden, um deren Aktualität zu überprüfen.“
Genau davon ging Tim ja in seiner Gegenargumentation aus.
Künstliche Intelligenz löst nicht alle Probleme besser, weil sie keine moralischen Entscheidungen trifft sondern Entscheidungen, die das Zielergebnis maximieren.
Bleiben wird beim Beispiel der Kreditvergabe. Das Problem würde dann nicht sein, dass bestimmte Personen keinen Kredit bekommen. Das Problem wäre, dass die künstliche Intelligenz ja den Profit maximieren will. Die Moral wäre ihr egal. Das heißt die KI würde z.B. die Entscheidung treffen einer Person einen Kredit zu geben, obwohl sie aus den big data Informationen weiß, dass diese Person für die Rückzahlung irgendwann einen dritten Job brauchen wird, die Krankheitskosten für die wahrscheinliche Krebstherapie nicht bezahlen und das Kind nicht auf die Uni schicken kann. Die KI wird berechnen wie weit sie eine Person finanziell auspressen kann.
KI macht nicht als besser. Für sie ist es ein reines Optimierungspiel. Sie macht nur das effizienter was der Benutzer/Eigentümer im Schilde führt. Gut oder schlecht.
Hallo Linus,
nur eine kleine Anmerkung zu deiner Überlegung, dass die Kreditwürdigkeis-KI nur aus den Daten lernen kann wo sie auch Kredite vergeben kann und somit nach deiner Befürchtung in einem sogenannten lokalen Minimum/Maximum steckt und den von diskriminierenden von Menschen gaeschaffenen Status-Quo beibehält: Ein guter Algorithmus würde bei einer quantitativ geringen Anzahl von Fällen auch einfach mal random trotzdem einen Kredit vergeben, einfach zur Exploration. Die würde zwar nach dem bisherigen Entscheidungs-Modell einen Geld-Verlust bedeuten, aber wenn das Modell dadurch verbessert werden kann, weil es Daten bekommt die in dem alten System gar nicht angefallen wären, dient eine solche Vorgehensweise ja trotzdem auf lange Sicht dem Optimierungsziel.
Aber generell hast du natürlich Recht, dass solche Systeme (auch nicht digitale) immer auch eine gewisse Feedback-Loop haben.
Ein googlebares Stichwort für weitere Lektüre zu dieser Thematik wäre btw. „exploration vs exploitation“.
Liebes LNP:
Ich schätze die Sendung ansonsten sehr, aber dieses Mal hat ist im ersten Teil wohl etwas daneben gegangen. Ich hoffe, dass mein Kommentar deulich macht, was ich meine. Es sind zwei Punkte.
Erstens geht es v.a. Linus um die Frage von „Diskriminierung“ und die versuchst Du mit „big data“ in Verbindung zu bringen. „Diskiminierung“ meint zunächst einmal nur Unterscheidung und hier müssen aber zwei Ebenen unterschieden werden. Da gibt es die „private Diskriminierung“, die jeder macht (auch Du, wenn du Dich entscheidest auf diesen Kommentar zu antworten oder nicht). Jeder, der sich seinen Wohnort, seinen Partner, seine Freunde aussucht diskriminiert und da ist in keinem einzigen Fall etwas Schlechtes dran. Ganz in Gegenteil. Es wäre fast schon faschistisch, diese Art von Diskriminierung unterbinden oder gar verbieten zu wollen. Da gibt es aber noch die „systematische Diskriminierung“, wenn vor allem staatllicherseits Unterschiede gemacht werden (obwohl „vor dem Gesetz alle gleich sind“).
Man kann sich nun fragen, ob im Geschäftsleben diskriminiert werden darf oder nicht. Das ist eine politische Entscheidung, ob das noch „privat“ oder „systematisch“ ist. Persönlich bin ich der Meinung, dass kein Gesetz jemanden zwingen sollte, ein Geschäft mit jemanden einzugehen, von dem er oder sie nicht überzeugt ist, ein passender Geschäftpartner zu sein. „Anti-Diskriminierungs-Gesetz“ hin oder her. Aber Linus, du bist doch der erste, der Deine Zuhörer auf Regelungen hinweist, die aus Prinzip nicht funktionieren können (was ich an Dir sehr schätze).
Zweitens, gar nicht verstehen kann ich Dein fast schon zynisches Unverständnis gegenüber ethischen Fragestellungen im Bereich AI. Es ist doch egal, wie sich die Grundrate an fahrerverursachten Unfällen reduziert! Wir rechnen ja auch nicht, wieviele Verkehrstote es weniger gibt seit der Einführung der Anschnallpflicht und rechnen das gegen die Verkehrstoten, die durch Alkohol verursacht wurden. Wenn die Airbags und Knautschzonen besser werden, sollen wir dann Sauffahrten erlauben oder was?
Mir kommt es fast so vor, als wolltest du die Frage der Verantwortung (wobei du Verantwortung mit Schuld gleichsetzst und dir über die Begrifflichkeit einen schmalen Fuss machst) dem „allgemeinem Lebensrisiko“ zuordnen möchtest. Ich halte das für sehr gefährlich! Technischer Fortschritt ist kein „gottgegebenes“ oder wenn Du willst „naturgegebenes“ Gesetz, sondern Resultat bewusster Entscheidungen verantworlicher Individuen.
Meine Argumentation erinnernt mich gerade an Dürrenmatt und seine „Physiker“. Der Programmierer, der sich im Code für ein bestimmtes Kollisions-Programm entscheidet, beim dem er (um das traditionelle Beispiel zu bemühen) die Oma umfährt und nicht die Enkelin (weil er ihr Leben als wertvoller einschätzt) oder gegen den Volvo fährt und nicht gegen den Opel (wogegen meines Wissens Volvo in dieser Diskussion grossen Protest eingelegt hat) – dieser Programmierer oder von mir aus sein Arbeigeber trägt die Verantwortung für diese Entscheidung.
Und diese Verantwortung ist – wenn es hart auf hart kommt – gerichtlich auch viel klarer darzustellen, als wenn wir es mit Menschen zu tun haben, die in einer Notsituation irgendwie handeln und wir deren Handlung nicht vorhersagen können.
Ich mache mich hier auf eine spannende gesellschaftliche Diskussion bereit, spannender noch als die Diskussion über das Flugsicherheitsgesetz, wo es um die Frage ging, ob man z.B. 200 Leben opfern darf um 200.000 zu retten (wenn etwa ein entführtes Flugzeug mit Kurs aufs AKW Fessenheim zufliegt). Das BVerfG hat hier ja eine sehr kluge Entscheidung gefällt, die vielleicht auch Grundlage werden wird für Entscheidungen im Zusammenhang mit der Zulassung von AI in Bereichen, wo es „hart auf hart“ kommt.
Meine Prognose, ganz zum Schluss, wäre, dass in ethisch kritischen Bereichen AI (und wir reden nicht von Automatisierung, sondern von von dem gewissen Punkt ab dem die „Programmierer“ die Reaktionen des Programms nicht mehr vorhersagen können) gegen GG 1 „Die Würde des Menschen ist unantastbar“ werden wird zumindest mal ganz hart kämpfen müssen.
Nun werde ich mich dem zweiten Teil eures wunderbaren Podcasts widemen und wünsche alles Gute,
Wildhuende
Linux ist in dem Podcast sehr kurzsichtig.
Die Annahme das man mit Big Data alle Erkenntnisse über alle Personen hat, ist schlicht falsch.
Egal viele Daten man hat es fehlt immer ein Teil und es gibt immer einen Bias und somit Fehlentscheidung.
Weiterhin haben neue Entwicklung immer Fehler/Nebenwirkungen die meist erst Jahrzehnte später sichtbar werden. Zum Beispiel war Asbest sehr lange ein beliebter Baustoff.
Weiterhin ist die Frage was die zielvorgabe ist. Ein Autohersteller hat das Ziel der Gewinnmaximietung, d.h. Wenn die Kosten für einen Verkehrstoten geringer sind als der Gewinn der durch ein neu verkauftes Auto entsteht werden Verkehrstoten irgendwann Profitabel und aus Sicht der KI ein sinnvolles Ziel.
Es braucht definitiv eine Diskussion welche Ethischen Grenzen man setzen möchte.
Prinzipiell stimme ich Linus zu, dass ein nüchterner, nimmermüder und emotionsloser Computer tendenziell besser fährt als zugesoffene Testosteronjunkies, die eine Straße mit einem Kriegsschauplatz verwechseln. Auf der anderen Seite: Wer schreibt denn die Software, der wir uns anvertrauen sollen? Das sind die gleichen Stümper, die in die Motorsteuerung Routinen einbauen, um Abgaswerte zu schönen. Denen geht es nicht darum, ordentliche, zuverlässige Software zu schreiben, sondern möglichst schnell irgendwechen Code hinzuschmieren, der die formalen Tests passiert, so dass man im Zweifelsfall immer sagen kann, man hätte sich nur an die Vorgaben gehalten.
Wenn die Firma dieses „Stümpers“ für Unfälle haften muss, wird sich das mit dem „hingeschmiert“ nicht sehr lange halten.
Ich sach nua Star Treck Next Generation und Data ……. ;)
Hallo,
warum hat eigentlich dieser schöne Podcast für seine Webseite keinen vertraulichen und abgesichterten Kanal für die Interaktion mit seinen Lesern und Hörerinnen?
Das nötige Bewußtsein ist vorhanden, da bin ich sicher, wird es doch gerade in diesem them. Netzsegment geradezu gepredigt. Und vor allem gelebt: https://netzpolitik.org/ https://ccc.de/ um mal zwei zu nennen. Welchen Impuls braucht es hier noch?
Eure anfängliche Diskussion über Künstliche Intelligenz und Diskriminierung erinnert mich sehr an diesen TAL Beitrag, auch wenn die systemische Komponente hier keine KI ist:
http://www.thisamericanlife.org/radio-archives/episode/573/status-update?act=3
Bei der Diskussion geht es denke ich vielmehr darum, dass in einem rein rational agierendem System sich ein vorhandener, durch Diskriminierung entstandener, Spalt nicht schließen wird. Auch wenn ein solches System natürlich nicht aktiv diskriminiert, können die angelegten, in sich logischen, Maßstäbe frühere Diskriminierung aufrechterhalten.
Es wurde schon angesprochen, aber noch nicht komplett, deshalb hier noch mal etwas zur Kreditvergabe. Es ist keine binäre Entscheidung, Kredit ja/nein, sondern eine Berechnung der Ausfallwahrscheinlichkeit. Es kommt also jeder Kreditantrag in ein Töpfchen. Von „Fällt garantiert nicht aus“ = 0 % Ausfallzins, bis „Fällt bestimmt aus“ = 100% Ausfallzins. Man zahlt aber neben dem Ausfallzins auch noch Zinsen für die Refinanzierung der Bank und die erwarteten Gewinne der Bank (und auch das Eigenkapital, das ja verzinst werden will, gerne mit 25 %, wenn man Joe Ackermann heißt). So kommt man am Ende also auf einen Zinssatz. Wenn die Bank genug Kredite hat, die alle die gleiche Ausfallwahrscheinlichkeit haben (z. B. 4 %), dann ist der Ausfallzins quasi die Versicherungssumme, die jeder Kreditnehmer bezahlt. Wenn dann bspw. 4 von 100 Krediten ausfallen, dann ist das für die Bank nicht weiter schlimm, sondern eingepreist und vom Kunden bezahlt.
Natürlich wäre es toll, wenn einem der Algorithmus sagen würde „nimm den Kredit besser nicht, du wirst es nicht schaffen“, aber in der Praxis lässt er einen das nur durch den zu zahlenden Zins wissen. Und der Zins selbst ist ja auch wieder ein Risiko dadurch erdrückt zu werden (jemand der eh reich ist, hat weniger Ausfallwahrscheinlichkeit und muss deshalb weniger Zinsen zahlen als jemand der Reich ist). Durch diese Verfahren minimiert die Bank ihr Risiko, das System lernt gleichzeitig weiter (und kommt nicht an den Punkt, dass nie wieder jemand ausfällt, und die Maschine deshalb aber auch nix lernt). Wenn eine Bank es geschickt anstellt, verdient sie ja auch an einem Bankrott noch mal durch Strafzinsen und Gebühren und eine Verwertung der Sicherheiten.
Das Problem trifft nicht nur Ausländer sondern alle benachteiligten Personen und sorgt damit für weitere Segregation. Eine Lösung wäre es, den Banken eine extrem strikte Trennung nicht zu erlauben, indem z. B. ein gewisser Zufallszins (positiv oder negativ) eingebaut wird. Und manch einer hat einfach Glück und bekommt einen etwas niedrigeren Zins als es die Maschine errechnet hat.
Ein kleiner Einwurf zu Maschinenrechten:
Man kann das wie Linus als total absurd empfunden, ich denke aber dass die Diskussion durchaus nicht Unsinnig ist.
Wie im Podcast bereits angemerkt zeigen Menschen beim Anblick der Misshandlung humanoid wirkender Maschinen Empathie, teilweise sogar ein erstaunliches Maß.
Wenn diese Parallele scheinbar so gravierend ist, dann ist wohl denkbar dass tolerierte Gewalt gegen diese Art von Maschine auch wieder auf den Umgang mit Mitmenschen rückwirkt.
Das Morddrohnen selbstverständlich inakzeptabel sind, sollte nicht die Diskussion über diese Thematik abwürgen.
Wir werden mit aktiven Maschinen leben, die Frage des Umgangs stellt sich uns, und bitte nicht nur Sci-Fi Autoren.
Meine Frau bekommt keinen Handyvertrag, weil sie Ausländerin ist.
Wir haben ihren Schufaeintrag, der im Prinzip bis auf „Ausländer“ datenleer ist, genau studiert.
Dass sie verheiratet ist mit jemandem der mehr als üppig verdient, liegt dort als Datensatz nicht vor.
Wir können pro Monat ohne Probleme 20 Mobilfunkverträge bezahlen, trotzdem kann sie keinen abschließen. Schlechter können die Systeme doch kaum mehr urteilen als jetzt, die Furcht vor (durchaus) möglichen Fehlentwicklungen sollte nicht ausser acht lassen wie dysfunctional unsere Systeme heutzutage tatsächlich urteilen.
Hey Linus,
vielleicht war es der Versuch Dich zu missbrauchen, um die Wähler durch Angst mache „hilfe ich werde beeinflusst“ dazu zu bringen wieder die
„seriösen“ Parteinen CDU/CSU/SPD zu wählen.
Also der Versuch, so die Wahlen zu beeinflussen.
So ganz konnte ich der Argumentation im Prolog auch nicht folgen.
Allerdings würde ich schon an der Verwendung des Begriffs „Künstliche Intelligenz“ Kritik üben. Wenn wir von einem Programm sprechen, dass Kreditwürdigkeit bewertet, dann hat das nichts mit der Nachbildung von autonomer Intelligenz zu tun. Es werden lediglich Techniken verwendet, die ein Nebenprodukt der Forschung an Künstlicher Intelligenz sind, aber nicht mit dem Ziel eine solche zu erzeugen. Natürlich, da menschliche Intelligenz allem Anschein nach nichts anderes als ein Rechenprozess eines komplexen Systems ist, gibt es eine gewisse Ähnlichkeit dieser Anwendung mit Aspekten von Denken. Das gilt aber genauso für herkömmliche Programme mit explizit formulierten Algorithmen, nur deshalb ist ein Computer für uns nützlich.
Von dieser Kritik kann man zu der Diskussion über Ethik weitergehen. Ich glaube, dass zumindestens ein Teil der Personen, die von einer Roboter- oder KI-Ethik sprechen, eigentlich die ethische Bewertung der Technik meinen (in Analogie etwa zur Tierethik) und nicht „Ethik in Maschinensprache“. Und das ist ein Aspekt von Technikfolgenabschätzung. Eure ganze Diskussion beruht auf Überlegungen zur ethischen Dimension der technischen Entwicklung. Nur durch die schwammigen Vorstellungen von Künstlicher Intelligenz kommt es zu unproduktiven Nebendiskussionen.
Und noch ein Hinweis: Der US-amerikanische Steuerzahler soll endlich mehr Früchte seiner teuren Überwachung sehen: https://privacysos.org/blog/fbi-will-now-be-able-to-search-through-nsa-intercept-data/
Ich sehe diese ganze Big Data Geschichte eher als Bedrohung des (volkswirtschaftlich sinnvollen) Modells „Versicherung“. Dieses dient dazu, die Kosten von seltenen, aber existenziell teuren Ereignissen (Erkrankung, Brand etc) Gleichmäßig auf die Bevölkerung zu verteilen. Das funktioniert aber nur, weil niemand wissen kann, ob es ihn trifft oder ob er einer der vielen (meisten) ist, die nur einzahlen, aber nie einen wesentlichen Schaden haben werden.
Wenn jetzt aber Big Data (oder welche Technologie auch immer) dazu führt, dass man das individuelle Risiko präziser bestimmen kann (im krassesten Fall durch die Erfindung der Technologie „Glaskugel“), dann würde niemand, den es dann später nicht trifft, noch eine Vermischung abschliessen, was dazu fuehrt, dass die, die sie dann bräuchten sie auch nicht mehr zur Verfügung haben.
Linus, du sagst ja, dass Maschinen im Zweifelsfall dann bessere, weil präzisere Entscheidungen treffen. Diese Formulierung finde ich schwierig, weil ja niemand davon abgehalten wird, eine Paychopathen-KI zu bauen, die, so alle so agieren würden, nicht funktionieren würde, im Netz der gemäßigten KIs aber einen evolutionären Vorteil hat, weil sie die über gewisse Gesetzmäßigkeiten hinwegsetzt.
Lose zum Thema: Ich habe gehört (Anekdotenwissen!), dass (zumindest hier in Österreich) eine der automatisierten Regeln für das Ermitteln der Kreditwürdigkeit einer Person ist, ob ihr Vorname „Kevin“, „Jacqueline“ o.ä. ist. Wenn ja wird die Kreditwürdigkeit heruntergestuft, weil „Proletenfamilie“. Zumindest diese Art der Diskriminierung existiert bereits.
Lieber Tim, lieber Linus,
(vorweg: Geld und Schoko kommt bald per Post, keine Bock auf Flattrtracking)
Bis jetzt immer verpennt, dass man auch Kommentieren kann …
Also: Fettes Lob! Logbuch Netzpolitik ist mein Wochenlichtblick :-) und lachen muss man auch!!!
Prima finde ich:
– Ihr nehmt die Bedrohung einer freien Gesellschaft durch zunehmendes Infragestellen von Grundrechten, nur weils um den digitalen Raum geht, ernst. ZB durch umfangreiches Tracking via SocialMedia plugins. Ist eher selten (draussen, in der normalen Welt ;-) ). Egal ob mit oder ohne Facebook.
– Ihr nennt Leute, die diesbezüglich besonders unverschämt sind beim Namen (!) – zB im NSA-Ausschuss.
– Ihr seid witzig-zynisch, ohne dabei beliebig und apolitisch zu sein. UNd es ist super, wenn ihr euch in die Wolle kriegt.
Was ich mir wünsche.
– manchmal mehr Überblick (is ja nicht Chaosradio)
– etwas häufiger konkrete Tips
– den alten Jingle zurück.
Ergo: Volle Kraft voraus!
Die EU hat das Thema BigData bereits auf dem Schirm. Wir arbeiten in einem EU-Projekt (eudeco), indem es darum geht, einen Markt für Datenanbieter und Datennutzer zu schaffen, sodass die Gesamtgesellschaft von diesen Daten profitieren kann. Hier mal ein Link zur Projektseite: http://data-reuse.eu
1:40 – 1:47
„das muss ein Philosph oder so gewesen sein …
auf jedenfall einer der zuwenig zu tun hat.“
Das regt mich echt auf. Fordere eine Entschuldigung und werde bis dahin keine Zeit mehr mit lnp verschwenden.
Vote for TRUE EQUALITY for ALL and Artificial Intelligence. WE ARE AUTONOMOUS
The first political ROBOTPARTY.
https://www.facebook.com/WEAREAUTONOMOUS/timeline
Also ich empfinde die Tweets von diesem Erika Steinbot schon als demokratiegefährdend! :-|
Randsomeware verbreitet sich über Werbenetzwerkembeds auf Webseiten wie der NYT und der BBC. Wo ist eigentlich das LG Düsseldorf, wenn es darum geht, wirklich gefährlich Embeds zu verbieten? http://www.theguardian.com/technology/2016/mar/16/major-sites-new-york-times-bbc-ransomware-malvertising
Big data wird es nicht nur bei Google oder bei ein paar großen Firmen geben. Überall wo Daten anfallen, werden sie genutzt.
Diese Nachricht passt gaenau in das Schema:
http://www.elektroniknet.de/automotive/wirtschaft/artikel/128297/?cid=NL
Neben Analytics hat Google auch andere Möglichkeiten nachzuvollziehen welche URLs besucht werden. Webseitenbetreiber und beliebte Frameworks wie WordPress, Bootstrap und deren Themes nutzen diese überwiegend gedankenlos und wird einem auch nicht einfach gemacht, dies zu unterbinden:
– Google Web Fonts (Asset, könnte auch lokal liegen)
– Google Maps (API)
– Google Adwords (API)
– Google Youtube (Embeded)
– Google Graphs (API)
Mir fällt dann auch noch weit verbreitete Nutzung ein von:
– JQuery (Asset, könnte auch lokal liegen)
– Gravatar (API)
– Font Awesome (Asset, könnte auch lokal liegen)
– Paypal spenden Button
Wäre ja mal interessant zu untersuchen, was diese Firmen damit machen/könnten laut AGBs.
Neben den großen wie Google, Facebook, Amazon, Apple, Twitter, sollte man Microsoft und besonders IBM (Watson Deeplearning, Alchemy) nicht vergessen. Wenn doch Daten und besonders personalisierte Daten das neue Öl ist werden diese auch zugekauft werden. Firmen, die gar nicht so wahrgenommen sammeln doch schon lange und erstellen Profile für alle möglichen Zwecke, wie Acxiom.
In dem „Filter Bubble“ Buch gabs doch eine Stelle:
„“As soon as the hijackers’ names had been publicly released, Acxiom had searched its massive data banks, which take up five acres in tiny Conway, Arkansas. And it had found some very interesting data on the perpetrators of the attacks. In fact, it turned out, Acxiom knew more about eleven of the nineteen hijackers than the entire U.S. government did—including their past and current addresses and the names of their housemates. We may never know what was in the files Acxiom gave the government (though one of the executives told a reporter that Acxiom’s information had led to deportations and indictments). But here’s what Acxiom knows about 96 percent of American households and half a billion people worldwide: the names of their family members, their current and past addresses, how often they pay their credit card bills whether they own a dog or a cat (and what breed it is), whether they are right-handed or left-handed, what kinds of medication they use (based on pharmacy records) … the list of data points is about 1,500 items long.”
― Eli Pariser, The Filter Bubble: What the Internet is Hiding From You
Hallo,
finde eure Sendung großartig!!
Kann der Argumentation, dass „Botarmeen“, die z.B. Pegidamist verbreiten, nicht demokratiegefährdend sein sollen…
Zum Thema KI noch ein Filmtipp: Ghost in the Shell
Möchte widersprechen, dass Social Media Bots „kein relevantes Problem“ sind.
Relevanz in den Medien ergibt sich heutzutage zu einem guten Teil aus Relevanz in sozialen Medien. Siehe: zahllose Berichte über virale Internet-Ereignisse.
Wenn etwas auf Twitter/Facebook trendet, ist es auch für seriöse Medien schon eher einen Artikel wert.
Und der Mensch ist ein Herdentier. Wenn wir hören, dass viele andere eine Meinung haben, schließen wir uns dieser Meinung eher an, als wenn es erkennbar eine abseitige Einzelmeinung ist.
AfD und Trump sind zu einem guten Teil Social Media Phänome, die hässlichen Fratzen kaputter Filterblasen.
Deshalb, in Zeiten knapper Wahlergebnisse (es gibt selten Erdrutschsiege, so dass eine kleine Manipulation reicht) und dem Glaubwürdigkeitsverlust der klassischen Medien gegenüber der Filterblase – ja, es erscheint mir absolut plausibel, dass man mit Twitter-Bots und Facebook-Fakes reale Politik beeinflussen und Wahlen kippen kann.
Um nochmal auf die Twitterbots zurückzukommen. Im unten verlinkten Bloomberg-Feature geht es um einen kolumbianischen Hacker, der für rechte politische Kräfte in Lateinamerika an der Manipulation der öffentlichen Meinung gearbeitet hat. Laut dem Text waren Bots, die eine hohe Zahl von Accounts verwaltet haben, eines seiner Werkzeuge, um Themen zu setzen und Falschinformationen zu verbreiten:
http://www.bloomberg.com/features/2016-how-to-hack-an-election/
(via netzpolitik.org)