Offener Brief: Jetzt algorithmenbasierte Diskriminierung anerkennen und Schutzlücken schließen!

Das Allgemeine Gleichbehandlungsgesetz (AGG) richtet sich gegen Diskriminierungen etwa durch Arbeitgeber, am Wohnungsmarkt oder beim Amt. Aber gegenüber Diskriminierungen durch Computerprogramme weist es noch Lücken auf. Mit der zunehmenden Digitalisierung der Gesellschaft werden immer mehr (Vor-)Entscheidungen automatisiert. Doch die dem zugrundliegenden Formeln und Programme können fehlerhafte Vorannahmen oder tendenziöse Datengrundlagen enthalten oder greifen nicht bei Sonderfällen (mehr Infos zur Problematik in unserem Interview mit der AlgorithmWatch-Mitarbeiterin Pia Sombetzki). Der offene Brief von AlgorithmWatch, der auch vom Paritätischen Wohlfahrtsverband unterzeichnet wurde, gibt konkrete Empfehlungen zur dringenden Gesetzesreform.

Der Brief im Wortlaut

Sehr geehrte Mitglieder der deutschen Bundesregierung,
sehr geehrter Herr Marco Buschmann, Bundesminister der Justiz,

vor 15 Jahren wurde das Allgemeine Gleichbehandlungsgesetz (AGG) eingeführt, um Menschen in Deutschland vor und bei Diskriminierungserfahrungen rechtlich zu schützen. Heute jedoch ist unsere Lebenswelt eine andere als damals: In viele gesellschaftliche Lebensbereiche haben automatisierte, algorithmenbasierte Entscheidungssysteme Einzug gehalten. Diesen wird oft zugeschrieben, dass sie Entscheidungen neutraler oder objektiver treffen. Es zeigt sich aber, dass sie im Gegenteil oft diskriminierend wirken und bestehende Ungerechtigkeiten zementieren oder gar verstärken können, wie verschiedene Beispiele illustrieren. Eine Studie von AlgorithmWatch zeigte, dass Facebook grobe geschlechterspezifische Stereotypen verwendet, um zu optimieren, wie Anzeigen geschaltet werden. In den Niederlanden wurden aufgrund eines diskriminierenden Algorithmus tausende Familien mit geringerem Einkommen oder mit Migrationshintergrund fälschlicherweise aufgefordert, Kindergeld zurückzuzahlen. Viele von ihnen wurden damit in den Ruin getrieben und Eltern mitunter das Sorgerecht für ihre Kinder entzogen.

Das Allgemeine Gleichbehandlungsgesetz weist in seiner heutigen Form wesentliche Schutzlücken auf. Im Namen von 19 Organisationen fordern wir Sie auf, die Reform des AGG zum Anlass zu nehmen, um diese Lücken zu schließen und die Bevölkerung auch vor algorithmenbasierter Diskriminierung zuverlässig zu schützen.

Konkret richten wir die folgenden Forderungen an die Bundesregierung: 

Der Anwendungsbereich des AGG sollte so ausgedehnt werden, dass das Gesetz vor Diskriminierung durch teil- und vollautomatisierte Entscheidungsverfahren schützt. Wenn algorithmische Systeme diskriminierende Auswirkungen haben, sind potenziell viele Menschen betroffen, denn ihre Vorhersagen oder Entscheidungen folgen alle dem gleichen Muster. Die Risiken sind demnach strukturell und die gesamtgesellschaftlichen Auswirkungen können groß sein.
In ihrem abschließenden Bericht kommt auch die Datenethik-Kommission der Bundesregierung (DEK) zu dem Schluss, dass das AGG in seiner aktuellen Form „nicht sämtliche sensiblen Konstellationen [erfasst], in denen algorithmisch ermittelte Ergebnisse eine Diskriminierung auslösen oder begünstigen“, und empfiehlt ebenfalls, den Anwendungsbereich des Gesetzes situativ auszudehnen.

Der Diskriminierungsschutz des AGG sollte ausgeweitet werden und die Auflistung der Diskriminierungskategorien nicht abschließend formuliert sein. Denn bei der Anwendung algorithmischer Systeme können ungerechtfertigte Ungleichbehandlungen entstehen, die zu keiner erkennbaren diskriminierungsrechtlich geschützten Kategorie passen und mitunter nicht ähnlich zu einer anderen geschützten Kategorie ausfallen. Eine Ansammlung vermeintlich neutraler Kategorien kann in diesem Fall aber dennoch einen diskriminierenden Effekt hervorrufen.
Zudem spielen sogenannte Proxy-Variablen eine wichtige Rolle, die von algorithmischen Systemen stellvertretend für nach dem AGG geschützte Kategorien herangezogen werden könnten, aber selbst nicht unter das AGG fallen. Dass solche in ihrer Auswirkung durch den Tatbestand der mittelbaren Diskriminierung immer zuverlässig erfasst werden, muss bezweifelt werden. Zudem ist dies womöglich auch nicht in allen Fällen angebracht, insbesondere wenn damit erleichterte Rechtfertigungsanforderungen für Beklagte einhergehen. 

Durch die Aufnahme eines entsprechenden Tatbestandes sollte sichergestellt werden, dass das AGG auch vor Diskriminierung schützt, bei der Opfer nicht eindeutig identifizierbar sind oder wenn ein automatisiertes System zufällig oder aus der Systemlogik heraus eine Vorhersage oder Entscheidung mit diskriminierenden Auswirkungen auf Personen trifft.
In Fällen, in denen einzelne Betroffene nicht eindeutig identifizierbar sind, aber eine strukturell diskriminierende Wirkung durch den Einsatz eines algorithmischen Systems festzustellen ist, könnte ein entsprechendes Bußgeld verhängt werden – zusätzlich oder anstelle von weiteren Bei- oder Abhilfebefugnissen, wie etwa der Anordnung, den Verstoß zu beenden, der Anweisung, den Einsatz eines Systems den gesetzlichen Vorgaben anzupassen, oder dem Ausspruch eines zeitlich begrenzten oder endgültigen Verbots der Anwendung.

Durch die Aufnahme des Tatbestands der intersektionalen oder verschränkten Diskriminierung sollte sichergestellt werden, dass das AGG auch vor Diskriminierung schützt, wenn eine Kombination geschützter Kategorien eine diskriminierende Auswirkung auf Personen entfaltet. Analysen aus der IT-Wissenschaft zeigen beispielsweise, dass zwar weder weiße Frauen noch schwarze Männer von Gesichtserkennungssystemen wesentlich schlechter erkannt wurden als weiße Männer, dies bei schwarzen Frauen aber eindeutig der Fall war.

Klagebefugnisse von qualifizierten Verbänden sollten ausgeweitet werden: Zum einen um die Verbandsklage, wenn aus Gründen des Allgemeininteresses der Rechtsweg angezeigt ist, zum anderen um die Prozessstandschaft, mit der etwa Antidiskriminierungsverbände und Beratungsstellen die Rechte Betroffener wahrnehmen können. Abschreckenden Effekten für Einzelne, beispielsweise finanzielle Risiken und emotionale Belastung, sollte entgegengewirkt werden, damit Rechte tatsächlich geltend gemacht werden können.
In Anbetracht der „Black Box“-Problematik, also der Tatsache, dass es oft intransparent ist, wo, von wem und wozu die Systeme eingesetzt werden und wie sie funktionieren, können Verbandsklagen eine zentrale Rolle spielen, um Fälle algorithmenbasierter Diskriminierung aufzugreifen.

Verpflichtungen zu regelmäßiger und verpflichtender Durchführung von Folgenabschätzungen und standardisierten, unabhängigen Audits beim Einsatz von algorithmischen Entscheidungssystemen sollten erlassen werden. Dadurch sollen Risiken diskriminierender (Fehl-)Funktionen oder Verwendungsweisen frühzeitig erkannt werden. Die Resultate dieser Maßnahmen sollen nach Möglichkeit veröffentlicht werden, um öffentliche Aufsicht zu gewährleisten.

Mehr Transparenz und klare Verantwortlichkeiten beim Einsatz von algorithmischen Entscheidungssystemen sollten gewährleistet werden. Gerade weil bisher keine Auskunftspflichten für Anwender*innen der Systeme bestehen, braucht es ein Auskunftsrecht für Antidiskriminierungs- und Beratungsstellen, um die Rechte von Betroffenen zu stärken.

Dieses ermöglicht Transparenz darüber, nach welchem Modell ein System funktioniert, zu welchem Zweck, von wem und in welchem Kontext es eingesetzt wird und welche Risiken dies mit sich bringt – etwa durch Einblick in die Resultate von Folgenabschätzungen und Audits. Auch Betroffenen selbst sollte ein Recht auf Information und auf Erklärung zugesprochen werden, da Transparenz die Voraussetzung dafür ist, dass algorithmische Diskriminierung festgestellt wird und Betroffene Rechtsmittel ergreifen können.
Über die Revision des AGG hinaus fordern wir die Bundesregierung auf, Aufklärungsarbeit und Sensibilisierung bezüglich algorithmenbasierter Diskriminierung jetzt zu fördern, unter anderem durch eine entsprechende Unterstützung von Antidiskriminierungsstellen.

Wir fordern Sie auf, den Koalitionsvertrag umzusetzen und mittels der oben aufgeführten Maßnahmen das Recht aller Menschen, keine Diskriminierung erleiden zu müssen, durch eine umfassende Revision des Allgemeinen Gleichbehandlungsgesetzes und weitere politische Maßnahmen wirksam und nachhaltig zu schützen. Um dies sicherzustellen, müssen wir auch rechtlich anerkennen, dass heute algorithmische Entscheidungssysteme das persönliche und gesellschaftliche Leben in vielen Bereichen und mit vielschichtigen Auswirkungen prägen. Nur dann werden wir einen effektiven Schutz vor algorithmenbasierter Diskriminierung erreichen ­– und den Menschen die Möglichkeit bieten, ihr Recht auf Gleichbehandlung auf Basis eines effektiven Rechtsschutzes geltend zu machen.   

Wir danken Ihnen für Ihre Bemühungen.

Mit freundlichen Grüßen

AlgorithmWatch

AlgorithmWatch CH

Antidiskriminierungsverband Deutschland (advd)

AWO Bundesverband e.V.

Berliner Fachstelle gegen Diskriminierung auf dem Wohnungsmarkt, Fair mieten – Fair wohnen

Bundeskonferenz der Migrantenorganisationen

CLAIM - Allianz gegen Islam - und Muslimfeindlichkeit

D64 – Zentrum für Digitalen Fortschritt e.V.

Deutscher Juristinnenbund e.V. (djb)

Deutscher Paritätischer Wohlfahrtsverband - Gesamtverband e. V.

FrauenComputerZentrum Berlin e.V. 

korientation. Netzwerk für Asiatisch-Deutsche Perspektiven e.V.

LSVD-Bundesverband

Migrations- und Integrationsrat Land Brandenburg e.V.

Netzforma* e.V.

Open Knowledge Foundation Deutschland e.V.

Türkische Gemeinde Deutschland e.V.

Türkischer Bund in Berlin-Brandenburg e.V. (TBB)

Wikimedia Deutschland e.V.