„Diskriminierung findet nicht nur auf den großen Plattformen statt“

Anne Mollen ist Senior Policy and Advocacy Managerin bei der gemeinnützigen Nichtregierungsorganisation Algorithmwatch. Sie forscht zum Zusammenhang von digitalen Medientechnologien, Gesellschaft und Demokratie.

treffpunkteuropa.de: In Artikel 2 des Vertrags von Lissabon werden die Grundwerte der Europäischen Union beschrieben - dazu zählt die Nicht-Diskriminierung. Entsprechen die Algorithmen von Google, Facebook & Co. diesem Wert?

Anne Mollen: Das ist teils schwer einzuschätzen, weil wir viel zu wenig Einblick haben, wie Facebook, Google und andere Konzerne automatisierte Entscheidungsfindung – bzw. Algorithmen – einsetzen. Es gibt aber Beispiele, die zeigen, dass es zu Diskriminierung kommt. Bei einer von uns durchgeführten Untersuchung, wie Jobanzeigen auf Facebook Nutzer*innen angezeigt wurden, haben wir eklatante Geschlechtsunterschiede gefunden: Job-Anzeigen für LKW-Fahrer*innen wurde zu über 90% Männern vorgeschlagen, während eine Anzeige für Erzieher*innen zu über 95% Frauen angezeigt wurde.

Weitere Beispiele für Diskriminierung durch Algorithmen gibt es viele: z. B. Software für Gesichtserkennung von Amazon und anderen Unternehmen, die zunächst nicht-weiße Gesichter viel schlechter erkannt hat als weiße Gesichter.

Die wenigsten Unternehmen entwickeln wahrscheinlich mit Absicht diskriminierende Algorithmen. Warum kommt es dann so häufig vor, dass Algorithmen nicht neutral entscheiden?

Algorithmen werden von Menschen entwickelt. Diskriminierung resultiert dann bewusst oder unbewusst zum einen aus den Entscheidungen, die Menschen in Bezug auf das System treffen. Algorithmen, die Verfahren des maschinellen Lernens einsetzen, brauchen zum anderen immer Trainingsdaten und diese Trainingsdaten sind ein Abbild der Vergangenheit. Hier rührt ebenfalls ein Teil der diskriminierenden Entscheidungen her. Ein sehr prominentes Beispiel ist, dass Amazon einen Algorithmus für den Einsatz im Personalmanagement entwickelt hat, der angeblich nie vollständig zur Anwendung gekommen ist. Das System hat Vorschläge gemacht, welche Beweber*innen eingestellt werden sollten. In der Anwendung stellte sich heraus, dass dieses System gegen Frauen diskriminierte – es wurden vermehrt Männer für Jobs vorgeschlagen. Die Daten aus der Vergangenheit, aus denen das System „lernte“, gaben das Muster aus, dass bisher mehr Männer als Frauen für Jobs ausgewählt wurden. Das hat der Algorithmus dann einfach abgebildet.

Ein Test auf Diskriminierung könnte also durchaus auch den Blick für die bis dahin bereits bestehende systematische Benachteiligung schärfen, wenn auf entsprechende Voreingenommenheit geprüft wird. Ob ein Algorithmus diskriminierende Entscheidungen trifft, sollte daher immer geprüft werden, bevor so ein System in Anwendung kommt.

Mit welchen Methoden versucht ihr, Diskriminierung aufzudecken?

Eine Methode, um mehr über die Funktionsweise von Algorithmen auf großen Online-Plattformen zu erfahren, ist z. B. das sogenannte „Reverse Engineering“. Das setzen wir häufig über Datenspende-Projekte um. Userinnen und User, die sich beteiligen wollen, können sich ein Plug-in installieren und hierüber ihre Newsfeed-Daten an uns spenden. Wir analysieren die anonymisierten Daten und können dann zum Beispiel Rückschlüsse auf die Darstellungslogik der Algorithmen von Facebook ziehen. Wichtige Einblicke können auch Whistleblower*innen wie jüngst Frances Haugen bei Facebook geben.

Was hält Facebook von solchen Projekten?

Große Unternehmen sind nicht unbedingt ein Freund davon. Im letzten Jahr mussten wir ein Instagram-Monitoring-Projekt beenden, nachdem wir Drohungen von Facebook erhalten haben.

Wie sahen diese Drohungen aus?

Ausschlaggebend war, dass mit weiterführenden Schritten und Konsequenzen gedroht wurde, wenn wir unser Projekt nicht beenden. Es gibt auch ein anderes Projekt, das NYU Ad Observatory der New York University, dessen Facebook-Accounts geschlossen wurde. Das hat also durchaus System – und wird auch durch den Digital Services Act adressiert.

… ein EU-Gesetzesentwurf, der Social-Media-Plattformen zu mehr Transparenz verpflichten soll.

Aber Diskriminierung findet nicht nur durch die großen Plattformen statt. Es gibt auch Lebensbereiche, in denen sich die Menschen dem gar nicht entziehen können. Zum Beispiel in der öffentlichen Verwaltung, wo unter Umständen Algorithmen für automatisierte Entscheidungen eingesetzt werden. Hier habe ich gar nicht die Wahl, das automatisierte System der Verwaltung zu umgehen. Das heißt, ich bin dem Mechanismus ausgeliefert.

Wie können Betroffene denn erkennen, wenn sie einem Algorithmus auf diese Weise ausgeliefert sind?

Es ist ein großes Problem, zu erfahren, wo Menschen durch Algorithmen diskriminiert werden. Deswegen haben wir ein Projekt ins Leben gerufen, das nennt sich „Unding“. Auf der Website kann man melden, wenn man das Gefühl hat, durch einen Algorithmus diskriminiert worden zu sein. Das kann zum Beispiel bei einem Fotoautomat in der öffentlichen Verwaltung sein, der für ein Passfoto schwarze Gesichter nicht erkennt.

Für Betroffene ist es jedoch nicht leicht, zu merken, dass sie Opfer einer Diskriminierung durch einen Algorithmus geworden sind. Das heißt, wir müssen für diese Art von Diskriminierung sensibilisieren und dann dazu kommen, dass wir von diesen Fällen erfahren.

Wie geht es dann weiter? Was können Betroffene konkret tun, wenn Diskriminierung durch Algorithmen erkannt wird?

Wenn man auf Grundlage von Merkmalen diskriminiert wurde, die nach dem Allgemeinen Gleichbehandlungsgesetz (AGG) geschützt sind, kann man im Rahmen des AGG dagegen vorgehen. Bei Diskriminierung durch die öffentliche Verwaltung kann man auf Basis des Grundgesetzes handeln. Beides ist jedoch aktuell mit gewissen Fallstricken verbunden.

Deswegen arbeiten wir daran, dass im AGG ein Verbandsklagerecht eingeräumt wird. Eine diskriminierte Person kann in der Regel nicht erkennen, ob sie durch eine Plattform diskriminiert wurde. Das kann derzeit vorwiegend durch systematische Analysen, wie wir sie durchführen, aufgedeckt werden. Damit wir als Organisation und andere Organisationen gegen eine Diskriminierung wie bei den Jobanzeigen auf Facebook vorgehen können, braucht es also ein Verbandsklagerecht im AGG. Denn derzeit können nur Betroffene selbst juristisch gegen Diskriminierung durch Algorithmen vorgehen – die wissen aber im Zweifel nichts von der Diskriminierung.

Der Autor Ferdinand von Schirach hat mit der Initiative „Jeder Mensch“ kürzlich sechs neue Grundrechte für Europa vorgeschlagen. Eines davon bezieht sich auf künstliche Intelligenz und lautet: „Jeder Mensch hat das Recht, dass ihn belastende Algorithmen transparent überprüfbar und fair sind. Wesentliche Entscheidungen muss ein Mensch treffen.“ Hältst du das für realistisch?

Das halte ich durchaus für realistisch. Es gibt Grundprinzipien, die man hierfür ausformulieren kann, aber dafür muss die konkrete Anwendung der Algorithmen genauer betrachtet werden. Die Digitalisierung im öffentlichen Sektor in Deutschland liegt beispielsweise noch weit unter dem Digitalisierungs-Level anderer EU-Länder. Dort wird bereits mehr Automatisierung eingesetzt, da es Arbeitsentlastung bringen und Prozesse fairer machen kann.

Dies ist allerdings kein Selbstläufer, sondern nur durch Kontroll- und Transparenzmechanismen möglich. Wenn Systeme des automatisierten Entscheidens in der öffentlichen Verwaltung eingesetzt werden sollen, braucht es daher einer Risikoevaluation - man definiert also vorab, mit welchen Risiken der Einsatz eines automatisierten Systems verbunden ist. Es macht einen Unterschied, ob es sich bei dem automatisierten Prozess um eine Rechtschreibprüfung handelt oder in dem automatisierten Prozess entschieden wird, in welchen Kindergarten ein Kind kommt oder welche Sozialbezüge eine Familie bekommt. Für den Fall, dass ein System mit einem bestimmten Risiko behaftet ist, braucht es einen Transparenzbericht, der gewisse ethische Prinzipien wie eine faire Entscheidung, Kontrollmechanismen und die Einbindung von Menschen in den Prozess abdeckt. Auch die Anwender*innen des Systems müssen das System verstehen können, um zu wissen, wie es arbeitet.

Zusätzlich braucht es aus unserer Perspektive ein Register aller automatisierter Entscheidungssysteme in der öffentlichen Verwaltung, um Transparenz und Kontrolle herzustellen.

Würden Sie das gleiche, was sie gerade von Behörden und dem öffentlichen Sektor gefordert haben auch für andere Unternehmen fordern?

Auch hier sollte es Transparenzmaßnahmen geben, wenn die automatisierte Entscheidungsfindung Menschen in kritischer Weise betrifft. Das kann zum Beispiel in einem Bewerbungsprozess der Fall sein, wenn Lebensläufe automatisiert ausgelesen werden. Als Bewerber*in kann das zum einen Konsequenzen für die Gestaltung meiner Bewerbung haben, da ich so mehr auf bestimmte Schlüsselwörter bei der Beschreibung meiner Berufserfahrung oder meines Studienganges achten muss. Zum anderen muss sichergestellt werden, dass diese Systeme nicht diskriminieren – z. B. durch betriebliche Mitbestimmung.

Es gibt Forderungen, die noch einen Schritt weiter gehen und von einer Art Algorithmus-TÜV sprechen. Wie könnte dieser aussehen und lässt sich das Problem auf diese Weise lösen?

Die Frage nach der Umsetzung ist eine sehr komplexe Frage. Die Verordnung zu Künstlicher Intelligenz, die derzeit auf EU-Ebene diskutiert wird, sieht aktuell vor, dass KI-Systeme, die ein gewisses Risiko bergen, Berichterstattungspflichten im Rahmen eines sogenannten „self-assessments“ erfüllen müssen. In dem Entwurf findet sich ebenfalls ein Vorschlag bezüglich einer Aufsichtsbehörde für diese Hochrisiko-Systeme. Allerdings passt die dort vorgeschlagene personelle Besetzung nicht zur Realität. Je nach Land soll es sich dabei um eine Organisation mit bis zu 25 Angestellten handeln. In Deutschland - als großes EU-Land - würden also vielleicht 25 Personen diese Aufgaben übernehmen. Diese Personen würden dann die Aufsicht über die Risikobeurteilungen übernehmen, welche dann von den jeweiligen KI-entwickelnden Unternehmen in einer Form der Selbstevaluation durchgeführt wird. Die Selbstevaluation, die hier vorgeschlagen wird, ist unserer Meinung nach von vornherein nicht der richtige Weg. Aber selbst dann braucht es viel mehr Ressourcen in diesem Bereich, um Kontrolle effektiv ausführen zu können. Inwiefern diese institutionalisiert sein sollte, ist schwer zu sagen, weil viele unterschiedliche Bereiche damit abgedeckt werden.

Was unternimmt die EU, um ihre Bürger*innen vor derartiger Diskriminierung zu schützen?

Derzeit gibt es mit KI-Verordnung, Digital Markets und Digital Services Act mehrere Gesetzesinitiativen, um Digitalunternehmen besser zu regulieren und die EU-Bürger*innen zu schützen. Hier geht es um ein Austarieren zwischen Wirtschaftsinteressen und den Schutz von Grundrechten. Insbesondere mit Blick auf die KI-Verordnung ist derzeit noch offen, ob damit tatsächlich effektive Instrumente zur Verteidigung der Rechte von EU-Bürger*innen geschaffen werden. Aber wir arbeiten daran.

Haben die finanzstarken Lobbys von Facebook und Google einen zu großen Einfluss auf die EU?

Sie haben auf jeden Fall einen sehr großen Einfluss. Lobby Control hat in diesem Jahr gezeigt, dass die Digitalindustrie 97 Mio. € für Lobbying ausgegeben hat. Das ist die höchste Ausgabe - noch vor der Pharma- und Autoindustrie. Druck und Lobbyarbeit sind in diesem Bereich enorm.

Vielen Dank für das Gespräch!