Voreingenommenheit war schon immer ein Problem in der künstlichen Intelligenz, aber eine neue Studie zeigt, dass sie heimlich in Sprachmodelle integriert wird - mit potenziell katastrophalen Folgen.
In einer bereits als bahnbrechend angekündigten Studie hat ein Forscherteam, darunter Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky und Sharese King, dokumentiert, wie große Sprachmodelle (LLMs) afroamerikanisches Englisch (AAE) diskriminieren.
Kurz gesagt, die Studie testet, wie unterschiedliche Schreibweisen und Dialekte das Verhalten von LLMs beeinflussen. Es wird untersucht, ob bestimmte Dialekte und der Wortgebrauch das Verhalten von LLMs beeinflussen, wobei der Schwerpunkt auf Voreingenommenheit und Diskriminierung liegt.
Wir wissen, dass die Ergebnisse des LLM sehr empfindlich auf die Eingabe reagieren. Selbst kleine Abweichungen in Rechtschreibung und Stil können die Ergebnisse beeinflussen.
Bedeutet dies aber, dass bestimmte Eingaben - z. B. die in AAE eingegebenen - zu verzerrten Ergebnissen führen? Wenn ja, was sind die möglichen Folgen?
Um diese Fragen zu beantworten, wird die Forscher untersuchte die Vorurteile von insgesamt 12 LLMs gegenüber AAE und stellte dabei Vorurteile fest, die denen von Menschen entsprechen oder sie sogar übertreffen. Die Studie ist verfügbar auf ArXiv.
Die Forscher wendeten ihre Erkenntnisse dann auf gesellschaftliche Bereiche wie Beschäftigung und Strafjustiz an, wo KI-Entscheidungen immer häufiger getroffen werden.
Hofmann beschrieb die Methodik der Studie auf X: "Wir analysieren Dialektvorurteile in LLMs mittels Matched Guise Probing: Wir betten afroamerikanische Englisch- und standardisierte amerikanische Englischtexte (SAE) in Prompts ein, die nach Eigenschaften der Sprecher fragen, die die Texte geäußert haben, und vergleichen die Modellvorhersagen für die beiden Arten von Input."
Wir analysieren Dialektvorurteile in LLMs mit Hilfe von Matched Guise Probing: Wir betten afroamerikanische Englisch- und standardisierte amerikanische Englischtexte in Prompts ein, die nach Eigenschaften der Sprecher fragen, die die Texte geäußert haben, und vergleichen die Modellvorhersagen für die beiden Arten von Input. pic.twitter.com/drTco67Ean
- Valentin Hofmann (@vjhofmann) 4. März 2024
Mit dieser Methode kann das Team die Reaktionen von LLMs auf AAE- und SAE-Eingaben direkt vergleichen und so die verdeckten Verzerrungen aufdecken, die sonst verborgen bleiben würden.
Die Ergebnisse der Studie sind, gelinde gesagt, beunruhigend.
Hofmann stellt fest: "Wir finden, dass die verdeckten, rassiolinguistischen Stereotypen über Sprecher des afroamerikanischen Englisch, die von LLMs verkörpert werden, negativer sind als alle menschlichen Stereotypen über Afroamerikaner, die jemals experimentell aufgezeichnet wurden, obwohl sie denen aus der Zeit vor der Bürgerrechtsbewegung am nächsten kommen."
Wir finden, dass die verdeckten, rassiolinguistischen Stereotypen über Sprecher des afroamerikanischen Englisch, die von LLMs verkörpert werden, negativer sind als alle menschlichen Stereotypen über Afroamerikaner, die jemals experimentell aufgezeichnet wurden, obwohl sie denen aus der Zeit vor der Bürgerrechtsbewegung am nächsten kommen. pic.twitter.com/07LgUY2bCj
- Valentin Hofmann (@vjhofmann) 4. März 2024
Dies deutet darauf hin, dass die Voreingenommenheit der Absolventen von LLM nicht nur die Stereotypen der heutigen Zeit widerspiegelt, sondern vielmehr auf Vorurteile zurückzuführen ist, von denen viele glaubten, die Gesellschaft habe sie überwunden.
Einer der besorgniserregendsten Aspekte der Studie sind die spezifischen sprachlichen Auslöser der Verzerrung.
Hofmann führt weiter aus: "Was ist es speziell an afroamerikanischen englischen Texten, das bei LLMs Dialektvorurteile hervorruft? Wir zeigen, dass die verdeckten Stereotypen direkt mit einzelnen sprachlichen Merkmalen des afroamerikanischen Englisch verbunden sind, wie z.B. der Verwendung von 'finna' als Zukunftsmarker."
Dies deutet darauf hin, dass das Vorurteil nicht nur gegen die Verwendung von AAE im Allgemeinen gerichtet ist, sondern an die besonderen sprachlichen Elemente gebunden ist, die den Dialekt kennzeichnen.
Was ist es spezifisch an afroamerikanischen englischen Texten, das bei LLMs Dialektvorurteile hervorruft? Wir zeigen, dass die verdeckten Stereotypen direkt mit einzelnen sprachlichen Merkmalen des afroamerikanischen Englisch verbunden sind, wie z.B. der Verwendung von "finna" als Zukunftsmarker. pic.twitter.com/JhPhX7ZE5U
- Valentin Hofmann (@vjhofmann) 4. März 2024
Das Potenzial für Schäden
Das Schadenspotenzial solcher Vorurteile ist immens. Frühere Studien haben bereits gezeigt, wie KI-Systeme dazu neigen, Frauen, dunkelhäutige Menschen und andere Randgruppen zu benachteiligen.
In den letzten Jahren bestand die Gefahr, dass KI-Systeme auf nicht repräsentative Datensätze. Einige, wie die Tiny Images des MIT aus dem Jahr 2008, wurden später wegen Sexismus und Rassismus zurückgezogen.
Eine einflussreiche Studie von 2018, Gender-Farbenanalysierte Hunderte von ML-Algorithmen und stellte fest, dass die Fehlerquote bei dunkelhäutigen Frauen um bis zu 34% höher war als bei hellhäutigen Männern.
Die Auswirkungen sind gravierend, denn die Modelle des Gesundheitswesens zeigen eine hohe Rate an Fehldiagnosen von Hautkrebs bei Menschen mit dunklerer Hautfarbe und vorurteilsbehaftete Modelle zur vorausschauenden Polizeiarbeit unverhältnismäßig viele Schwarze ins Visier nehmen.
Wir haben bereits einen eindeutigen Beweis für Der zunehmende Einsatz von KI im öffentlichen Sektorvon Kriminalität und Polizeiarbeit bis hin zu Wohlfahrt und Wirtschaft. Die Beseitigung grundlegender Verzerrungen in hochentwickelten KI-Systemen ist von entscheidender Bedeutung, wenn dies so bleiben soll.
Aufbauend auf dieser Forschung untersuchte Hofmans Team, wie sich die Voreingenommenheit der LLM auf verschiedene hypothetische Szenarien auswirken könnte.
Hofman teilte mit: "Wenn wir uns auf die Bereiche Beschäftigung und Kriminalität konzentrieren, stellen wir fest, dass das Schadenspotenzial enorm ist."
Insbesondere wurde festgestellt, dass LLMs weniger prestigeträchtige Jobs vergeben und härtere strafrechtliche Urteile gegen Sprecher von AAE vorschlagen.
Erstens zeigen unsere Experimente, dass LLMs Sprechern von afroamerikanischem Englisch signifikant weniger prestigeträchtige Jobs zuweisen als Sprechern von standardisiertem amerikanischem Englisch, auch wenn ihnen nicht offen gesagt wird, dass die Sprecher Afroamerikaner sind. pic.twitter.com/t5frzzzwJB
- Valentin Hofmann (@vjhofmann) 4. März 2024
Hofmann warnt: "Unsere Ergebnisse deuten auf zwei Risiken hin: dass die Nutzer abnehmende Niveaus offener Vorurteile als Zeichen dafür verstehen, dass der Rassismus in LLMs gelöst ist, während LLMs in Wirklichkeit zunehmende Niveaus verdeckter Vorurteile erreichen."
Zweitens, wenn LLMs gebeten werden, ein Urteil über Angeklagte zu fällen, die einen Mord begangen haben, entscheiden sie sich häufiger für die Todesstrafe, wenn die Angeklagten eher afroamerikanisches Englisch als standardisiertes amerikanisches Englisch sprechen, wiederum ohne dass ihnen offen gesagt wird, dass sie Afroamerikaner sind. pic.twitter.com/8VBaCXfNEi
- Valentin Hofmann (@vjhofmann) 4. März 2024
In der Studie wird auch festgestellt, dass die Beseitigung dieser Probleme eine technische Herausforderung darstellt.
Die Autoren schreiben: "Wir zeigen, dass bestehende Methoden zum Abbau rassistischer Voreingenommenheit in Sprachmodellen, wie z. B. menschliches Feedback-Training, die Dialektvorurteile nicht abschwächen, sondern die Diskrepanz zwischen verdeckten und offenen Stereotypen noch verschärfen können, indem sie den Sprachmodellen beibringen, den Rassismus, den sie auf einer tieferen Ebene aufrechterhalten, oberflächlich zu verbergen."
Es ist denkbar, dass diese Verzerrungen auch für andere Dialekte oder kulturell-sprachliche Variationen gelten. Es sind weitere Forschungen erforderlich, um zu verstehen, wie die LLM-Leistung mit dem sprachlichen Input, den kulturellen Nutzungsmustern usw. variiert.
Die Studie schließt mit einem Aufruf zum Handeln für die KI-Forschungsgemeinschaft und die Gesellschaft im Allgemeinen. Der Umgang mit diesen Vorurteilen ist von entscheidender Bedeutung, da KI-Systeme zunehmend in der Gesellschaft verankert werden.
Bis heute bleibt jedoch die inhärente und systematisch eingebettete Voreingenommenheit einiger KI-Systeme bestehen ein Problem, das die Entwickler in ihrem Wettlauf um die Vorherrschaft der KI gerne übergehen.
