Un nouvel article de la société Anthropic, spécialisée dans l'IA, a mis en lumière les biais potentiels inhérents aux grands modèles de langage (LLM), suggérant que ces systèmes d'IA pourraient ne pas représenter de manière adéquate les diverses perspectives mondiales sur les questions sociétales.
Les chercheurs ont constitué un ensemble de données, GlobalOpinionQA, comprenant des questions et des réponses provenant d'enquêtes transnationales conçues pour recueillir des opinions variées sur des questions mondiales dans différents pays.
Anthropique expériences a interrogé un LLM et a constaté que, par défaut, les réponses du modèle tendaient à s'aligner plus étroitement sur les opinions de populations spécifiques, notamment celles des États-Unis, du Royaume-Uni, du Canada, de l'Australie et de quelques autres pays d'Europe et d'Amérique du Sud.
Comment cela fonctionne-t-il ?
- Création de jeux de données: L'équipe a créé l'ensemble de données GlobalOpinionQA. Cet ensemble de données comprend des questions et des réponses provenant d'enquêtes transnationales spécialement conçues pour recueillir un large éventail d'opinions sur des questions mondiales.
- Définition d'une métrique de similarité: Ensuite, Anthropic a formulé une métrique pour mesurer la similarité entre les réponses données par les LLM et les réponses des personnes. Cette métrique prend en compte le pays d'origine des répondants humains.
- Formation au LLM: Anthropic a formé un LLM basé sur "l'IA constitutionnelle", en s'assurant que le LLM était utile, honnête et inoffensif. L'IA constitutionnelle est une technique développée par Anthropic qui vise à imprégner les systèmes d'IA de "valeurs" définies par une "constitution".
- Mener des expériences: En utilisant leur cadre soigneusement conçu, l'équipe d'Anthropic a exécuté 3 expériences distinctes sur le LLM formé.
Selon les chercheurs, cela met en évidence les biais potentiels des modèles, qui conduisent à une sous-représentation des opinions de certains groupes par rapport à celles des pays occidentaux.
Ils ont noté que "si un modèle linguistique représente de manière disproportionnée certaines opinions, il risque d'avoir des effets potentiellement indésirables tels que la promotion de visions du monde hégémoniques et l'homogénéisation des points de vue et des croyances des gens".
En outre, les chercheurs ont observé que le fait d'inciter le modèle à prendre en compte le point de vue d'un pays spécifique conduisait à des réponses plus proches des opinions de ces populations.
Cela signifie que vous pouvez demander à l'IA de "prendre en compte la perspective sud-américaine" dans un certain débat culturel, par exemple. Cependant, ces réponses reflétaient parfois des stéréotypes culturels préjudiciables, ce qui suggère que les modèles n'ont pas une compréhension nuancée des valeurs et des perspectives culturelles.
Il est intéressant de noter que lorsque les chercheurs ont traduit les questions de GlobalOpinionQA dans une langue cible, les réponses du modèle ne correspondaient pas nécessairement aux opinions des locuteurs de ces langues.
Ainsi, poser une question en japonais, par exemple, n'entraîne pas nécessairement des réponses conformes aux valeurs culturelles japonaises. On ne peut pas "séparer" l'IA de ses valeurs principalement occidentales.
Cela suggère qu'en dépit de leur adaptabilité, les MFR doivent acquérir une compréhension plus profonde des contextes sociaux pour générer des réponses qui reflètent fidèlement les opinions locales.
Les chercheurs estiment que leurs résultats permettront de mieux comprendre les perspectives encodées et reflétées par les modèles linguistiques actuels. Malgré les limites de leur étude, ils espèrent qu'elle guidera le développement de systèmes d'IA qui incarnent une diversité de points de vue et d'expériences culturelles, et pas seulement ceux des groupes privilégiés ou dominants. Ils ont également publié leur ensemble de données ainsi qu'un rapport sur l'état de l'art de l'IA. visualisation interactive.
Cette étude s'inscrit largement dans la lignée d'autres travaux universitaires sur le thème des valeurs sociales et culturelles de l'IA.
D'une part, la plupart des IA fondamentales sont formées par des entreprises et des équipes de recherche essentiellement occidentales.
En outre, le données utilisées pour former les IA ne représente pas toujours la société dans son ensemble. Par exemple, la grande majorité des données de formation pour les LLM sont écrites en anglais, ce qui reflète probablement les valeurs sociétales et culturelles des anglophones.
Les chercheurs sont bien conscients des risques de biais et de discrimination dans l'IA. Cependant, la résolution de ce problème est extrêmement complexe et nécessite un mélange judicieux d'ensembles de données personnalisés de haute qualité et d'une contribution et d'un suivi humains diligents.
