"Hard coded“: Algorithmische Diskriminierung

Algorithmen strukturieren Informationsmengen, entnehmen Daten Sinn und regulieren die Ökonomie des Digitalen. Während die algorithmische Regulierung von Arbeits- und Lebensweisen voranschreitet, bleibt deren staatliche Regulierung bisher aus. Wenn Algorithmen unter Berufung auf Rationalität und Objektivität Personen oder ganze Gruppen ausschließen oder diskriminieren, werden grundsätzliche demokratiepolitische Versäumnisse offenkundig und gesellschaftliche Missstände verfestigt.

Von Christian Berger und Astrid Schöggl (ReferentInnen für Digitales in der AK Wien)

Was ist ein Algorithmus?

Algorithmen sind allgegenwärtig. Man begegnet ihnen an jeder Ampelschaltung, man nutzt sie bei jeder Suchanfrage im Internet und man verlässt sich auf algorithmische Verschlüsselungen bei der jeder Zahlung mit Bankomat- oder Kreditkarte. Sie unterstützen, erleichtern und geben Sicherheit. Die meisten Menschen vertrauen auf Algorithmen, ohne ihre Logik oder Funktionsweise zu verstehen.

Algorithmen sind Befehle; logisch oder mathematisch definierte Handlungsvorschriften. Mit Hilfe von großen Datenmengen werden diese Handlungsvorschriften zur Lösung eines Problems zur Anwendung gebracht. Dabei besteht ein Algorithmus in summa aus einer Vielzahl an teils einfachen, teils komplexen, aufeinander bezogenen Einzelschritten.

Wie lernen Maschinen (Diskriminierung)?

Machine Learning (maschinelles Lernen) ist die Grundlage für verschiedene Anwendungen künstlicher Intelligenz und basiert auf einem algorithmischen Verfahren. ProgrammiererInnen definieren dafür „Wahr-Falsch-“ bzw. „Wenn-Dann“-Gleichungen, um eine Aufgabe zu lösen, zum Beispiel „wenn Person X ein Produkt Y kauft, dann gefällt ihr auch Produkt Z“.

Maschinelles Lernen entsteht dann, wenn ein Algorithmus sich selbst „beibringt“, wie er zum Ergebnis kommt. Um das zu ermöglichen, leitet der Algorithmus aus einer Vielzahl an Einzelfällen allgemeine Regeln ab, die nicht von ProgrammiererInnen vorgegeben sind. Er erkennt zum Beispiel eigenständig Zusammenhänge beim Kaufverhalten, indem er eine große Menge an Kaufentscheidungen von vielen Individuen beobachtet.

Ein Algorithmus kann zum Beispiel zur Gesichtserkennung „trainiert“ werden, indem ihm Bilder mit und ohne Gesichtern gezeigt werden. Er lernt dann, nach Zusammenhängen zu suchen, die auf ein Gesicht hindeuten, wie zum Beispiel Kanten und Schattierungen (ein einfacher Algorithmus, der sich etwa in manchen sensorischen Seifenspendern befindet, erkennt hingegen ganz ohne etwas zu lernen oder zu verlernen nur weiße Hände als Hände und reagiert). Einfach ausgedrückt, ist es die Aufgabe eines intelligenten Algorithmus, Muster zu erkennen – anders formuliert, aus Daten Sinn und Regeln abzuleiten.

Dabei sind Algorithmen eine Möglichkeit, Wertvorstellungen, Erwartungen, Theorien, aber auch geschäftliche oder politischen Interessen als gegeben zu codieren. Macht- und Herrschaftsverhältnisse verschwinden hinter Begriffen wie Determiniertheit, Finitheit, Effektivität und in „harten“ Codes. Es spielt eine Rolle, wer welche Software von welchem Standpunkt aus entwickelt. Die Mathematikerin Cathy O’Neil bezeichnet Algorithmen aus diesem Grund auch als „opinions embedded in code“.

Wie funktionieren (diskriminierende) Algorithmen?

Seit Maschinen also nicht länger Regeln befolgen, sondern diese selbst schaffen, stehen sie vielfach im Zentrum ethischer Debatten. Immer wenn Einzelnen Gruppeneigenschaften unterstellt und auf diese Unterstellung aufbauend Entscheidungen über den Zugang zu Ressourcen an Einzelne getroffen werden, ist von Diskriminierung auszugehen. Zudem ist für Betroffene oft keineswegs nachvollziehbar, welche Klassifikations- und Bewertungskriterien eigentlich zum Einsatz kommen, denn diese „können auch aus dem großen Datenset heraus entwickelt werden, potenziell aus Korrelationen, die irreführend und zufällig sind“, wie die Grundrechtsplattform epicenter.works ihr rechtliches Vorgehen gegen die Fluggastdatenspeicherung begründet.

Neuere algorithmische Systeme befolgen jedoch nicht nur vorgegebene Regeln, sondern lernen und konstruieren selbst allgemein anwendbare, potenziell diskriminierende Regeln. Besonders problematisch ist es, wenn die Identifikations- und Differenzierungslogik des Algorithmus nicht mehr nachvollziehbar ist. Als Googles Gesichtserkennung schwarze Menschen als Gorillas identifizierte, wussten die ProgrammiererInnen nicht, wie der Algorithmus zu dem Schluss gelangt war und mussten folglich das Label „Gorilla“ einfach sperren.

Diese Problematik zeigt sich aktuell auch am Einsatz von Lern-, Bewertungs- und Entscheidungssystemen, die (teil)automatisiert etwa das Such- und Kaufverhalten, Personalplanung, Erwerbsarbeitsverläufe und Risikoanalysen aller Art operationalisieren. Auf Basis historischer Daten, die vergangene Verhaltensweisen, Verteilungen oder Normen abbilden (etwa dass Frauen überproportional häufig einer Teilzeitbeschäftigung nachgehen oder dass ein Körper dann als menschlich gilt, wenn er weiß ist), werden Kriterien für die Einordnung und Bewertung zukünftiger Ereignisse entwickelt. Wenn Personen aufgrund einer mittels statistisch-algorithmischer Analyse definierten „empirischen Normale“ bewertet und kategorisiert werden, stehen sowohl das Persönlichkeitsrecht, Datenschutz als auch Gleichheit – als zentrales Rechtsgut – zur Disposition. Strukturelle Ungleichheiten werden reproduziert und verstärkt, zum Beispiel, wenn Personen keinen Kredit erhalten, weil ihnen aufgrund ihres Bildungsgrades oder Wohnorts algorithmisch eine geringe Bonität beschieden wird.

Zunehmend werden intelligente Algorithmen nun auch für personalpolitische Entscheidungen verwendet. Verschiedene Softwarelösungen liefern Unternehmen nicht nur Empfehlungen zu Schulungsbedarf ihrer MitarbeiterInnen, sondern auch zu Sanktionsmaßnahmen, Stellenvergaben oder Beförderungen – all das auf Basis von gesammelten Daten über Angestellte und ArbeiterInnen. So musste Amazon ein auf einer Künstlichen Intelligenz (KI) basierendes Rekrutierungstool aus dem Verkehr ziehen, da es auf vorhandene Trainings- und Personaldaten zurückgriff und Bewerbungen, die das Wort „Frau“ oder den Namen von Universitäten, die mehrheitlich von Frauen besucht werden, systematisch negativ bewertete.

Im Sinne des Rechts können gerade auch „Vorschriften, Kriterien oder Verfahren, die dem Anschein nach neutral sind“ diskriminierend sein. Daher handelt es sich bei den meisten algorithmischen Diskriminierungsphänomenen um Phänomene „mittelbarer Diskriminierung“. Justiziabel sind diese Diskriminierungsformen nicht.

Digitalisierung diskriminierungsfrei gestalten und regulieren

In Anbetracht dieser raschen und oft intransparenten Entwicklungen geht die AK Wien in die Offensive. Der Digitalisierungsfonds hat zum Ziel, Digitalisierungsprozesse in der Arbeitswelt und Entwicklung und Einsatz neuer Technologien zu demokratisieren. Ein Beispiel ist das Projekt „Gläserne Belegschaft: Überwachung und Kontrolle am Arbeitsplatz 4.0“, das problematische Softwarelösungen untersucht. Mit den Ergebnissen können ArbeitnehmerInnen und ihre Vertretungen rechtzeitig und kompetent eingreifen, wenn Verletzungen ihrer Rechte drohen. Ein anderes Projekt ist der Entwicklung eines deutschsprachigen „Stereotypen-Decoders“ gewidmet, mit dessen Hilfe Stelleninserate auf einen möglichen diskriminierenden Gehalt hin überprüft und korrigiert werden können, um die Chancen von Frauen und älteren Menschen im Bewerbungsprozess zu verbessern. Solche Projekte können dazu beitragen, den digitalen Wandel diskriminierungsfrei(er) zu gestalten.

Die Vergesellschaftung von maschinellem Lernen erfordert darüber hinaus partizipatorische Ansätze. Bei der Definition von algorithmischen Verfahren, beim Labeln von Daten oder beim Trainieren des Algorithmus können ProgrammiererInnen betroffene Personengruppen teilhaben lassen. Nur wenn verschiedene Perspektiven einbezogen werden, spiegelt sich Chancengerechtigkeit in den algorithmischen Entscheidungsprozessen wider.

Im Übrigen sollten europäische und verfassungsrechtliche Gleichheitsgebote auch auf algorithmische Datenanalyse und Machine Learning Anwendung finden. Der Staat ist sogar verpflichtet, Voraussetzungen für die Verwirklichung von Grund- und Menschenrechten zu schaffen – dazu gehören im Fall von Algorithmen unter anderem Forschung, Verantwortlichkeits- und Transparenzregelungen und ein individueller wie kollektiver Rechtsschutz.

Algorithmen zu regulieren, ist nicht weniger als eine demokratische Notwendigkeit.

Dieser Beitrag wurde am 23.07.2019 auf dem Blog Arbeit & Wirtschaft unter der Creative-Commons-Lizenz CC BY-SA 4.0 veröffentlicht. Diese Lizenz ermöglicht den NutzerInnen eine freie Bearbeitung, Weiterverwendung, Vervielfältigung und Verbreitung der textlichen Inhalte unter Namensnennung der Urheberin/des Urhebers sowie unter gleichen Bedingungen.

Titelbild: Robot (pixabay.com; Pixabay License)