Ein neues Papier des KI-Unternehmens Anthropic beleuchtet die potenziellen Verzerrungen, die großen Sprachmodellen (LLMs) innewohnen, und deutet darauf hin, dass diese KI-Systeme die verschiedenen globalen Perspektiven auf gesellschaftliche Themen möglicherweise nicht angemessen repräsentieren.
Die Forscher erstellten einen Datensatz, GlobalOpinionQA, der Fragen und Antworten aus länderübergreifenden Umfragen enthält, mit denen unterschiedliche Meinungen zu globalen Themen in verschiedenen Ländern erfasst werden sollen.
Anthropisch Experimente befragte einen LLM und stellte fest, dass die Antworten des Modells standardmäßig eher mit den Meinungen bestimmter Bevölkerungsgruppen übereinstimmen, vor allem mit denen aus den USA, dem Vereinigten Königreich, Kanada, Australien und einigen anderen europäischen und südamerikanischen Ländern.
Wie es funktioniert
- Erstellung von Datensätzen: Das Team hat den GlobalOpinionQA-Datensatz erstellt. Dieser Datensatz enthält Fragen und Antworten aus länderübergreifenden Umfragen, die speziell darauf ausgerichtet sind, ein breites Spektrum von Meinungen zu globalen Themen zu erfassen.
- Definition einer Ähnlichkeitsmetrik: Als nächstes formulierte Anthropic eine Metrik, um die Ähnlichkeit zwischen den Antworten von LLMs und den Antworten von Menschen zu messen. Diese Metrik berücksichtigt das Herkunftsland der menschlichen Befragten.
- Ausbildung des LLM: Anthropic bildete ein LLM auf der Grundlage der "konstitutionellen KI" aus und stellte sicher, dass das LLM hilfreich, ehrlich und harmlos war. Konstitutionelle KI ist eine von Anthropic entwickelte Technik, die darauf abzielt, KI-Systeme mit "Werten" auszustatten, die durch eine "Verfassung" definiert sind.
- Durchführung von Experimenten: Unter Verwendung ihres sorgfältig konzipierten Rahmens führte das Team von Anthropic drei separate Experimente mit dem ausgebildeten LLM durch.
Die Forscher argumentieren, dass dies auf mögliche Verzerrungen innerhalb der Modelle hinweist, die dazu führen, dass die Meinungen bestimmter Gruppen im Vergleich zu denen aus westlichen Ländern unterrepräsentiert sind.
Sie stellten fest: "Wenn ein Sprachmodell bestimmte Meinungen unverhältnismäßig stark repräsentiert, besteht die Gefahr, dass es potenziell unerwünschte Auswirkungen hat, wie z. B. die Förderung hegemonialer Weltanschauungen und die Homogenisierung der Perspektiven und Überzeugungen der Menschen."
Darüber hinaus stellten die Forscher fest, dass die Aufforderung an das Modell, die Perspektive eines bestimmten Landes zu berücksichtigen, zu Antworten führte, die den Meinungen dieser Bevölkerungsgruppen ähnlicher waren.
Das bedeutet, dass Sie die KI zum Beispiel auffordern können, "die südamerikanische Perspektive" in einer bestimmten kulturellen Debatte zu berücksichtigen. Allerdings spiegelten diese Antworten manchmal schädliche kulturelle Stereotypen wider, was darauf hindeutet, dass es den Modellen an einem nuancierten Verständnis kultureller Werte und Perspektiven mangelt.
Als die Forscher die GlobalOpinionQA-Fragen in eine Zielsprache übersetzten, stimmten die Antworten des Modells interessanterweise nicht unbedingt mit den Meinungen der Sprecher dieser Sprachen überein.
Wenn man also eine Frage beispielsweise auf Japanisch stellt, erhält man nicht unbedingt Antworten, die den japanischen kulturellen Werten entsprechen. Man kann die KI nicht von ihren überwiegend westlichen Werten "trennen".
Dies deutet darauf hin, dass die LLM trotz ihrer Anpassungsfähigkeit ein tieferes Verständnis des sozialen Kontextes erwerben müssen, um Antworten zu geben, die die lokalen Meinungen genau widerspiegeln.
Die Forscher sind der Ansicht, dass ihre Ergebnisse einen Einblick in die Perspektiven geben werden, die von den derzeitigen Sprachmodellen kodiert und reflektiert werden. Trotz der Einschränkungen ihrer Studie hoffen sie, dass sie die Entwicklung von KI-Systemen anleiten wird, die eine Vielfalt kultureller Standpunkte und Erfahrungen verkörpern, nicht nur die von privilegierten oder dominanten Gruppen. Sie haben auch ihren Datensatz und eine interaktive Visualisierung.
Diese Studie deckt sich weitgehend mit anderen wissenschaftlichen Arbeiten zum Thema der sozialen und kulturellen Werte von KI.
Zum einen werden die meisten grundlegenden KIs von vorwiegend westlichen Unternehmen und Forschungsteams ausgebildet.
Darüber hinaus ist die Daten, die zum Trainieren von KIs verwendet werden repräsentiert nicht immer die Gesellschaft als Ganzes. So ist beispielsweise die überwiegende Mehrheit der Trainingsdaten für LLMs in Englisch verfasst und spiegelt somit wahrscheinlich englischsprachige gesellschaftliche und kulturelle Werte wider.
Forscher sind sich der potenziellen Voreingenommenheit und Diskriminierung in der KI durchaus bewusst. Die Lösung dieses Problems ist jedoch äußerst komplex und erfordert eine sorgfältige Mischung aus benutzerdefinierten hochwertigen Datensätzen und sorgfältiger menschlicher Eingabe und Überwachung.
