Deutscher Gewerkschaftsbund

22.05.2019

Algorithmen gegen Diskriminierung

Algorithmen sind nicht neutral und können genauso diskriminieren wie Menschen mit Vorurteilen. Sie können aber auch dazu genutzt werden, um Diskriminierungen präzise zu definieren, zu erkennen und zu verhindern. Der Gesetzgeber hat hier eine große Verantwortung.

 

Von Meike Zehlike und Gert G. Wagner

Neuronen im Nervensystem in einer 3-D-Darstellung.

Natürliche wie künstliche neuronale Netze können komplexe komplexe Muster erlernen. DGB/Rostislav Zatonskiy/123rf.com

"Algorithmen entscheiden ausschließlich auf Basis von Fakten, nicht auf Basis von Hautfarbe." Oder: "Mathematik und Algorithmen sind neutral und deswegen sind algorithmische Entscheidungen es auch." Das waren gängige Leitsätze nach der Jahrtausendwende, als das "maschinelle Lernen" immer wichtiger wurde. Ungeahnte Möglichkeiten taten sich auf, um mit Hilfe künstlicher Intelligenz (KI) algorithmisch, also automatisiert Entscheidungen zu treffen. Unter Technologen herrschte große Euphorie: Endlich könnte rational entschieden werden, ohne dass Tagesbefinden oder emotionale Prägung eines menschlichen Entscheiders eine Rolle spielten. Das gelte nicht etwa nur bei der Einschätzung, ob ein bestimmter Mensch zahlungsfähig sei, sondern auch bei der Auswahl von Angestellten oder der Beurteilung der Leistung von Mitarbeiter*innen. Diese Behauptung war schon damals schlicht falsch – und lässt sich leider nur langsam aus den Köpfen bekommen.

Auch Algorithmen sind ein Abbild gesellschaftlicher Vorurteile

Dennoch sollte man algorithmische Entscheidungen nicht verteufeln. Sie können sogar nützlich sein, um Diskriminierung präzise zu definieren, zu erkennen und zu verhindern. Fairness algorithmisch sicherzustellen, erfordert jedoch, dass künstliche Intelligenz von menschlicher Intelligenz gezielt eingesetzt wird. Zudem muss der Gesetzgeber in relevanten Bereichen die Bürger*innen vor Nachteilen schützen. Etwa beim Scoring, also der "Vermessung" von Mitarbeiter*innen am Arbeitsplatz, das als "People Analytics" im Personalmanagement eine immer größere Rolle spielt.

Erst einmal ist festzuhalten: Algorithmen sind weder per se neutral, noch ist es unmöglich, dass sogenannte selbstlernende Systeme diskriminieren. Ganz im Gegenteil. Gerade bei selbstlernenden Systemen ist die Gefahr einer systematischen Diskriminierung durch Algorithmen groß, da diese mit Daten "trainiert" werden, die als Abbild der heutigen Gesellschaft sämtliche historischen und aktuellen Diskriminierungen enthalten. Jüngst erregte der Konzern Amazon mit einem System Aufsehen, das automatisch ungeeignete Bewerbungen auf Programmierjobs aussortieren sollte. Da Frauen in der Informatik stark unterrepräsentiert sind und damit ein statistisches Handicap aufweisen, schloss das System aus der Situation in der Vergangenheit, dass Bewerbungen von Frauen generell schlechter zu bewerten sind. Dies ist in zweierlei Hinsicht problematisch: Zunächst sind nun alle Bewerbungen von Frauen von einem sexistischen Algorithmus betroffen. Früher wären es nur solche gewesen, die womöglich an einen sexistischen Personalsachbearbeiter gerieten. Zusätzlich hat es ein Opfer solch algorithmischer Diskriminierung sehr schwer, seinen Opferstatus überhaupt zu erkennen und dagegen vorzugehen. Ein Algorithmus lässt sich ja nicht so einfach bloßstellen.

Portraitfotos von 15 Frauen.

Keine dieser Frauen gibt es. Die Aufnahmen sind komponiert aus Vorlagen einer Website (hot or not), um sie zu einer perfekt schönen Frau zusammenzusetzen. Wie bei einem Algorithmus fließen die gesellschaftlichen Vorgaben - Schönheitsideale - in den Prozess ein DGB/Pierre Tourigny/Flickr/CC BY 2.0

Zugegeben, früher kam man diskriminierenden Entscheidern, die über ihre Motive schwiegen, auch nur schwer auf die Schliche. Wenn zum Beispiel ein Privatmann eine Wohnung vermietete, konnte man ihm niemals Diskriminierung nachweisen, wenn er verschwieg, dass er etwa Menschen mit dunkler Hautfarbe oder Familien mit kleinen Kindern nicht mag. Von Vorteil ist hier, wenn der Vermieter einen Algorithmus einsetzt, etwa wie Wohnungsbaugesellschaften einen Fragebogen, der hilft Bewerber vorzusortieren. Denn jeden Algorithmus kann man testen – wieder und wieder, mit verschiedenen Personenmerkmalen, verschiedenen Ausgangssituationen. Es lässt sich so erkennen, wenn sich ein Algorithmus sich zwar nicht für die Hautfarbe interessiert, aber für den Geburtsort. Auf diese Weise hat man ein Indiz für versteckte Diskriminierung und man kann vor allem Kriterien festlegen, die zu einem fairen Ergebnis führen. Weichen die Testergebnisse signifikant von den Kriterien ab, ist algorithmische Diskriminierung wahrscheinlich.

Die Fairness von Algorithmen lässt sich fast so einfach testen wie eine Kaffeemühle

Auch bei selbstlernenden Algorithmen lassen sich Diskriminierung und Fairness durch Tests nachweisen. Es wird zwar gerne behauptet, dass Künstliche Intelligenz aufgrund ihrer Komplexität undurchschaubar wäre, jedoch ist dies nicht einmal die halbe Wahrheit. Selbst bei neuronalen Netzen – das sind Computeralgorithmen, die als völlig undurchschaubar gelten – lässt sich herausbekommen, welche "Nervenzellen" (Knoten) maßgeblich an einer automatischen Entscheidung beteiligt sind und was sie repräsentieren. Zudem kann man stets das Verhalten des Algorithmus prüfen, ohne den Entscheidungsprozess im Computer überhaupt zu betrachten. Stattdessen prüft man lediglich die Ergebnisse für eine Vielzahl von Beispieldaten oder Personenmerkmalen hinsichtlich der zuvor definierten Kriterien von Fairness und Diskriminierung.

Nach diesem Prinzip testet auch die Stiftung Warentest. Die Tester brauchen nicht den Bauplan einer Kaffeemühle um festzustellen, ob sie gut mahlt und lange hält. Testen macht die interne Komplexität eines Gerätes oder eines Algorithmus für die Qualitätskontrolle völlig irrelevant. Mit einem geeigneten "Testset" von Daten lässt sich ohne weiteres feststellen, ob ein Algorithmus diskriminiert. Hätte Amazon in der Testphase seines Personalauswahl-Algorithmus darauf geachtet, dass deutlich weniger Frauen eingeladen werden, als sich bewerben, wäre die Diskriminierung nicht nur festgestellt, sondern sogar quantifiziert worden. Insofern können geeignete Algorithmen und automatisierte Tests helfen, Diskriminierung zu erkennen. Und nicht nur das, es ist sogar möglich, selbstlernende Algorithmen und deren Zielfunktionen so zu designen, dass sie bestimmte Fairness-Kriterien sicherstellen und unerwünschte Diskriminierung verhindern.

Großer Computerserver, vor dem ein Mann mit Laptop steht und etwas überprüft.

Wie auch immer Algorithmen künftig gestaltet werden, es werden immer mehr energie-intensive Speicherkapazitäten benötigt. DGB/dotshock/123rf.com

Nur: Was verstehen wir eigentlich unter Fairness? Erst einmal müssen den Begriff klar definieren. Um solche Definitionen ringt die Philosophie schon seit Jahrtausenden, wovon die Forschung zur Fairness in Algorithmen heute profitieren kann. In der Tat hat sich das Forschungsfeld „Fairness, Accountability and Transparency in Machine Learning“ in den letzten Jahren äußerst dynamisch entwickelt und bereits einiges an Methodik und Tools hervorgebracht. Beispielsweise wird an der TU Berlin in Zusammenarbeit mit der Universität Pompeu Fabra in Barcelona ein Software-Erweiterung (Plug-In) für "Elasticsearch" entwickelt, das faire Suchergebnisse garantieren wird. Elasticsearch ist ein Tool, das von nahezu allen Webseiten mit einem Suchfeld benutzt wird, unter anderem Facebook, Netflix und Amazon. Der Einsatz des Plugins wird im gesamten System für fairere Suchergebnisse sorgen.

Die Festlegung von Fairness-Kriterien ist weder trivial noch eindeutig. Schon die Definition der Begriffe algorithmische Fairness und Nicht-Diskriminierung stellt eine Herausforderung dar. Aus der Forschung sind bisher etwa 25 Definitionen bekannt, die keineswegs alle miteinander kompatibel sind. Ist zum Beispiel die Kreditvergabe nur dann fair, wenn dieselben Anteile von Frauen und Männern, die einen Kredit wollen, auch einen bekommen. Oder ist es fair, wenn kreditwürdige Frauen und Männer in gleichem Maße Kredite bekommen? Dass beide genannten Fairnesskriterien gleichzeitig erfüllt werden, ist theoretisch zwar möglich, aber in der Realität praktisch nie gegeben.

KI-Forscher wissen wenig von Fairness aus ethischer oder philosophischer Sicht

Völlig unklar ist bisher, inwiefern mathematische Definitionen sich mit unseren gesellschaftlichen Normen und Werten decken, insbesondere weil verschiedene Situationen verschiedene normative Voraussetzungen erfüllen. Sollten Sie beispielsweise von einem Algorithmus, der ihre Amazon-Produktauswahl optimiert, fälschlicherweise als reich klassifiziert werden, hat das für Betroffene nur kaum schmerzhafte Konsequenzen. Wenn man aber von einem Bilderkennungs-Algorithmus nach einem MRT zur Krebserkennung fälschlicherweise als gesund klassifiziert wird, ist das lebensbedrohlich. Es sollte also klar sein, dass wir für algorithmische Entscheidungen in der Medizin andere Maßstäbe ansetzen als im Bereich des Online-Handels. Vielleicht sollten wir bei bestimmten Entscheidungen gar auf Algorithmen verzichten? Bisher wissen wir sehr wenig darüber, wie sich algorithmische Fairness und algorithmische Entscheidungsfindung auf unser soziales Gefüge auswirken. Die einschlägige Community der KI-Forscher wiederum kennt sich zu wenig mit der Forschung zu Fairness aus ethischer und philosophischer Sicht aus. Deswegen fällt es schwer, die verschiedenen Ansätze so einzuordnen, dass wir entscheiden können, in welcher Situation wir welchen Algorithmus anwenden sollten. Das können wir aber ändern, indem wir Algorithmen nicht einfach immer weiter selbst lernen lassen, sondern selbst nachdenken und dazu lernen.

Es ist notwendig, dass KI-Forschung genauer als bislang betrachtet, was Fairness in unterschiedlichen Situationen bedeutet. Ansonsten besteht die Gefahr, dass sich zum Beispiel Scoring-Unternehmen, die uns nach Kreditwürdigkeit, Fahrtüchtigkeit und Gesundheit einsortieren, einfach irgendeine Fairness-Variante auf Gutdünken aussuchen. Sie könnten sich schließlich hinter ihrem Geschäftsgeheimnis und der Behauptung verstecken, Mathematik diskriminiere nicht. Wir sollten aber wissen, was solche Algorithmen mit uns machen. Bloß wenn wir das sicherstellen, sind Algorithmen ein großer Fortschritt, da sie Fairness und Diskriminierung transparenter machen, als es die meisten menschlichen Entscheider tun oder überhaupt könnten. Der Gesetzgeber muss diese Transparenz von Algorithmen allerdings regeln und gewährleisten. Schließlich steht im Grundgesetz: Eigentum verpflichtet!


Eine frühere Fassung dieses Beitrags ist in der Süddeutschen Zeitung am 6. Mai 2019 erschienen.


Nach oben

Kurzprofil

Meike Zehlike
ist Informatikerin und forscht an der Humboldt Universität Berlin und am Max Planck Institut für Softwaresysteme in Saarbrücken zum Thema Fairness und Diskriminierung in Suchalgorithmen.
» Zum Kurzprofil
Gert G. Wagner
ist Ökonom. Er arbeitet hauptsächlich als Research Associate des Alexander von Humboldt Instituts für Internet und Gesellschaft (HIIG) und als Max Planck Fellow am MPI für Bildungsforschung in Berlin.
» Zum Kurzprofil

Gewerkschaftlicher Infoservice

Der einblick infoservice liefert jede Woche aktuelle News und Fakten aus DGB und Gewerkschaften.

Zur Webseite www.dgb.de/einblick

@GEGENBLENDE auf Twitter

Zuletzt besuchte Seiten