Automatische Entscheidungssysteme, die auf maschinellem Lernen basieren, enthalten oftmals einen sogenannten „Bias“ (deutsch: Vorurteil, Verzerrung). Darunter versteht man Bewertungen, die aufgrund unzureichender Kenntnis und somit einseitiger Einschätzung bestimmter Sachverhalte getroffen werden. Dies kann nicht nur bei ML-Algorithmen vorkommen, denn auch Menschen lassen in ihre Entscheidungen oft Vorurteile einfließen – meist unbewusst. Wesentliche ethische Fragen im Maschinellen Lernen diesbezüglich sind also: Dürfen Machine-Learning-Algorithmen Bias enthalten? Und wenn ja, wann und wie viel „Bias“ ist vertretbar?
Was ist ein Bias?
Doch bevor wir uns dem Bias im maschinellen Lernen zuwenden, ist es hilfreich sich bewusst zu machen, dass auch wir Menschen nicht frei von Vorurteilen und Verzerrungen des Denkens sind. Einer der bekanntesten, auf kognitiven Verzerrungen beruhende Denkfehler ist zum Beispiel der confirmation bias, im Deutschen ist dieses Phänomen auch als Bestätigungstendenz bekannt: Menschen neigen besonders unter dem Einfluss starker Emotionen dazu, Informationen so zu verarbeiten, dass ihre bisherige Ansicht dazu bestätigt wird.
Dies kann auf verschiedene Arten geschehen: einerseits bei der Auswahl von Informationen, indem vor allem Quellen und Personen vertraut wird, die die eigene Ansicht bestätigen und widerlegende Informationsquellen ignoriert werden. Andererseits bei der Interpretation von Informationen. Gerade im Fall von Daten wird oft deutlich, dass es zum Beispiel für einen Kurvenverlauf von Daten verschiedene Erklärungsansätze geben kann. So gab es für die steigende Positivrate an Corona-Infektionen in Großbritannien beim zeitgleichen Auftreten der B117-Mutation Wissenschaftler, die dies auf die Mutante selbst zurückführten. Andere Forscher wiesen auf die vermehrten und altersgemischten Treffen während der Weihnachtszeit hin, die einen solchen Anstieg alleine erklären können. So können aufgrund derselben Datenbasis verschiedene Interpretationen der Realität entstehen.
Zuletzt kann auch der Abruf von Informationen verzerrt sein, indem vor allem Indizien erinnert werden, die eine bestimmte These bestätigen. Der Abruf von Informationen wird besonders durch starke Emotionen beeinflusst, sodass Gefühle von starker Angst oder Wut dazu führen können, dass selektiv erinnert wird.
Was können Folgen von Bias in ML-Systemen sein?
Durch Bias in Entscheidungssystemen können sowohl Gruppen von Menschen als auch Individuen ungerecht behandelt werden – mit weitreichenden Folgen für zum Beispiel ihre Kreditwürdigkeit oder potentielle Jobangebote, je nach Einsatzgebiet des Systems. Sogar komplette Regionen können betroffen sein, wenn ML-Algorithmen darüber entscheiden, in welchen Stadtteilen die Polizeipräsenz erhöht werden soll. Dabei kann sogar so etwas wie eine selbsterfüllende Prophezeiung entstehen, denn nicht selten führt eine erhöhte Polizeipräsenz zu einer höheren Anzahl von entdeckten kriminellen Handlungen.
Was sind die Ursachen für Bias im Maschinellen Lernen?
Systeme des maschinellen Lernens identifizieren Muster in Trainingsdaten und nutzen diese für die Vorhersage von zukünftigen Daten. Der Lernprozess erfolgt bis auf die mögliche Festlegung von gewissen Parametern autonom vom Programmierer. Es handelt sich um eine mathematische Optimierung, bei der anhand von statistischen Metriken die Vorhersagequalität verbessert wird. Damit erschaffen Machine-Learning-Algorithmen ihr eigenes Modell anhand der vorliegenden Datenlage und Daten haben nicht länger eine passive, sondern eine aktive Rolle inne. Dies kann problematisch sein, denn Korrelationen sind nicht notwendigerweise ein Hinweis auf Kausalität, sondern können durch eine indirekte Beziehung verursacht werden. Das wohl berühmteste Beispiel hierfür ist die Korrelation von Storchenpaaren und der Anzahl von Geburten in Europa. In Wirklichkeit sind natürlich nicht die Störche die Ursache, sondern die Tatsache, dass Störche verstärkt in ländlichen Regionen nisten, wo Menschen dazu neigen, mehr Kinder zu bekommen.
Das obige Beispiel zeigt, dass allein schon der Trainingsdatensatz selbst zu einem solchen Bias führen kann, wenn er scheinbare Korrelationen zur Vorhersage nutzt. Ebenso kann die Auswahl der Trainingsdaten zu einer solchen Verzerrung führen: Datensätze können unvollständig oder nicht repräsentativ sein oder viel zu klein, um verlässliche Prognosen zu erzeugen. Nicht selten wurden gerade in der Anfangszeit des Maschinellen Lernens an Universitäten für die Erzeugung von Trainingsdaten vor allem Studenten rekrutiert, was zum Beispiel bei der Gesichtserkennung zu einer erheblichen Stichprobenverzerrung, (engl. „selection bias“ ) führte, da es sich um keinen Querschnitt der Bevölkerung handelte. Auch der gesellschaftlich-kulturelle Kontext spielt eine Rolle. So ist ein für Deutschland repräsentativer Datensatz nicht unbedingt für Vorhersagen in Indien oder China geeignet.
Wie kann ein Bias verhindert werden?
Ein Bias entsteht meistens unabsichtlich. Das Management oder die Entwicklungsabteilung reflektiert häufig nicht die ungewollten Folgen ihrer Technologie. Oftmals spielt dabei ein ungenügendes Verständnis für die Mechanismen von ML-Systemen eine Rolle oder es fehlt von vornherein das Problembewusstsein für einen Bias in Daten oder es liegt sogar ein menschlicher Bias vor. Daher ist es ratsam, Zeit und Ressourcen für die Qualität der Trainingsdaten aufzuwenden und Prozesse zur Trainingsdatenbeschaffung zu reflektieren und zu dokumentieren. Eine solche Transparenz bietet die Möglichkeit, die Trainingsdaten kontinuierlich zu verbessern.
Im Natural Language Processing bedeutet dies: Anstatt für Textmodelle möglichst viele Daten aus dem Web zu crawlen, ist es wichtig möglichst repräsentative Daten auszuwählen. Das Wissen um die Entstehung und die Bedeutung eines Bias ist wichtig, um Verzerrungen zu minimieren und negative Folgen eindämmen zu können.
