Die bigotte KI – wenn der Algorithmus diskriminiert

Kühler Kopf, stets neutral und natürlich auch sonst gänzlich vorurteilsbefreit: So werden gute Entscheidungsträger*innen beschrieben. Immer mehr von ihnen sind gar keine Menschen, sondern immer komplexere Algorithmen, die mit einem Rezept oder einer klassischen Spam-Filter-Regel nicht mehr viel zu tun haben. Wir geben ihnen immer mehr Macht, oft ohne es zu merken. Doch führt das immer zu sachlichen Ergebnissen?

Bei gleicher Eignung bevorzugt die KI Männer

Eine Software, die ganz von allein Bewerbungen vorsortiert und Tipps zur Einstellung gibt, ist der Traum vieler überforderter Personalabteilungen. Genau zu diesem Zweck ließ Amazon 2014 eine Künstliche Intelligenz entwickeln, die nach bestimmten Kriterien Sterne an Bewerbungen vergab, ganz ähnlich wie auf der Website Produkte bewertet werden. Nur die mit fünf Sternen bewerteten Top-Bewerbungen wurden dann überhaupt näher angeschaut. Doch bereits 2015 stellte man fest: Die KI wählte kaum Frauen aus. Warum? Weil sie zum Lernen mit Bewerbungen aus den letzten zehn Jahren gespeist wurde und in der männerdominierten Technik- und Software-Domäne kaum Bewerberinnen zum Abgleich hatte. Entsprechend brachte sich die Künstliche Intelligenz bei, Männer zu bevorzugen. Der Algorithmus wurde schließlich eingestellt. Amazon beteuerte, dass er nie richtig zum Einsatz gekommen sei.

Der Twitter-Ausschnitt bleibt weiß und konservativ

Kaum eine Social-Media-Plattform kommt ohne Fotos aus. Da aber natürlich nicht alle Uploads die gleichen Seitenverhältnisse haben, zeigen viele Plattformen in der Vorschau einen Ausschnitt statt das gesamte Bild. Der kann beim Upload im Regelfall selbst frei gewählt werden, doch wer es eilig hat, kann das an eine Software abtreten. Auf Twitter etwa war ein Algorithmus mit Gesichtserkennung dafür zuständig, auf einem zu langen oder zu breiten Bild das Gesicht zu finden und für die Vorschau auszuschneiden.

2020 bemerkten aufmerksame User*innen allerdings, dass der Algorithmus dabei alles andere als neutral vorging. So zeigte eine Bildzusammenstellung von einem Porträtfoto des weißen Senatoren Mitch McConnell und einem vergleichbaren Foto des ehemaligen Präsidenten Barack Obama, dass der Algorithmus sich stets für Mitch McConnell entschied. Auch bei anderen Uploads wurden deutlich mehr weiße als schwarze Personen gewählt. Auch Männer wurden für den automatischen Ausschnitt gegenüber Frauen bevorzugt.

Twitter reagierte schließlich peinlich berührt und schaltete die Funktion ab. Bilder werden nun nur noch automatisch zugeschnitten, wenn sie übermäßig lang oder breit sind – und zwar genau auf die Mitte des Bilds, unabhängig davon, was sie zeigt.

Gleich krank, ungleich zur Weiterbehandlung überwiesen

Ebenfalls in den USA fand eine Studie 2019 heraus, dass ein oft genutzter Algorithmus in US-amerikanischen Krankenhäusern schwer erkrankte Menschen aufgrund ihrer Hautfarbe diskriminierte. Die KI war dafür zuständig, Patient*innen zur besseren medizinischen Versorgung an Programme mit etwa individueller Betreuung zu überweisen. Trotz gleich oder ähnlich schwerwiegender Erkrankung gab sie solche Empfehlungen häufiger Weißen als Schwarzen. Generell wurden Schwarzen geringere Risikowerte zugeschrieben. Die Forscher*innen fanden in ihrer Studie heraus, dass nur 17,7 % der Menschen, denen der Algorithmus zusätzliche gesundheitliche Unterstützung zuwies, schwarz waren – es hätten laut ihren Berechnungen bei einem wirklich neutralen Algorithmus aber ganze 46,5 % sein müssen.

Für viele Betroffene kommen solche Nachrichten nicht überraschend, sondern bestätigen vielmehr, was sie ohnehin alltäglich in latent rassistischen Strukturen erleben. Allerdings seien gerade im Gesundheitswesen derart handfeste Studien schwer durchzuführen, klagten die Forscher*innen, da sie kaum je Zugang zu sensiblen Daten bekämen. Der Überweisungs-Algorithmus war ganz zufällig bei einer Routineüberprüfung negativ aufgefallen.

Veränderung? Ganz schlecht für die Gesichtserkennung

Seit 2016 nutzt der Privattaxi-Anbieter Uber einen sogenannten Real-Time ID Check, um Kund*innen zu schützen. Fahrer*innen müssen dann ein aktuelles Selfie hochladen, um zu bestätigen, dass sie auch wirklich den Account besitzen, unter dem sie fahren. Eine Fahrerin wurde nach einem Upload plötzlich gesperrt. Sie habe ein Bild hochgeladen, das nicht zu ihrer Kartei passe: Betrug, so urteilte der Algorithmus.

Doch die Fahrerin war noch immer sie selbst – lediglich im Prozess ihrer Transition, also ihrer Geschlechtsangleichung. Obwohl Uber darüber bereits informiert war, konnte die Plattform ihr nicht versprechen, dass sie nicht wieder gesperrt würde. Der Algorithmus hätte schlicht nicht genug Erfahrungen mit trans Personen.

Die offensichtliche Lösung: Der Algorithmus muss einfach besser trainiert werden. Das geht natürlich vor allem durch mehr Daten. Doch viele Menschen fühlen sich damit unwohl, besonders, wenn sie Minderheiten angehören und befürchten, dass die gewonnenen Erkenntnisse für negative Zwecke missbraucht werden könnten. Eine Stanford-Studie von 2017, in der eine KI anhand von Gesichtserkennung bestimmte, ob eine Person hetero- oder homosexuell sei, wurde entsprechend mit heftiger Kritik aufgenommen. Im selben Jahr kam heraus, dass ein Forscher unzählige Videos und Bilder von trans Menschen gesammelt hatte, die ihre Transition auf YouTube dokumentiert hatten, um damit seine Gesichtserkennungssoftware zu speisen. Die Betroffenen, die dazu nie eingewilligt hatten, reagierten mehrheitlich mit Ärger, Unwohlsein und Sorge, wofür genau die KI gedacht sei.

Quo vadis, Algorithmus?

Ganz wörtlich kann ein Algorithmus natürlich nicht selbst diskriminieren. Er führt schließlich nur Befehle aus und lernt aus dem ihm eingegebenen Material. Letztlich ist auch die Maschine durch ihre Programmierer*innen deshalb menschlich und führt uns unsere gesellschaftlichen Fehltritte wie in den oben genannten Beispielen vor. Doch was macht man mit der Erkenntnis, dass ein Algorithmus genauso voreingenommen sein kann wie der Mensch hinter ihm?

Zunächst lässt man ihn regelmäßig kritisch überprüfen. Die gravierende Benachteiligung schwarzer Patient*innen in den USA fiel bei einer Routinekontrolle auf. Doch auch User*innen und Betroffene bieten wertvolles Feedback. Hinhören und sehen, wie man es besser machen kann, heißt die Devise. Algorithmen lassen sich korrigieren, etwa, indem man sie mit ausgewogeneren Daten füttert oder bestimmte auftretende Ergebnisse melden und prüfen lässt. Doch manchmal, wie bei Amazon oder Twitter, stellt man Algorithmen und Funktionen auch ganz ein und entscheidet sich dagegen, nur, weil man es eben kann, eine weitere Erkennungssoftware zu entwickeln, die Menschen in tödliche Gefahr bringen kann – schließlich läuft die KI in der Kriegsmaschinerie schon Amok.