Les biais ont toujours \u00e9t\u00e9 un probl\u00e8me dans l'IA, mais une nouvelle \u00e9tude montre qu'ils sont secr\u00e8tement int\u00e9gr\u00e9s dans les mod\u00e8les de langage, avec des cons\u00e9quences potentiellement catastrophiques.<\/b><\/p>\n
Dans ce qui a d\u00e9j\u00e0 \u00e9t\u00e9 annonc\u00e9 comme une \u00e9tude historique, une \u00e9quipe de chercheurs, comprenant Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky et Sharese King, a document\u00e9 la fa\u00e7on dont les grands mod\u00e8les de langage (LLM) discriminent l'anglais afro-am\u00e9ricain (AAE).<\/span><\/p>\n En bref, l'\u00e9tude teste la fa\u00e7on dont les diff\u00e9rentes orthographes et dialectes affectent le comportement des LLM. Elle cherche \u00e0 d\u00e9terminer si certains dialectes et l'utilisation de certains mots influencent le comportement d'un LLM, en se concentrant sur les pr\u00e9jug\u00e9s et la discrimination.\u00a0<\/span><\/p>\n Nous savons que les r\u00e9sultats du LLM sont tr\u00e8s sensibles \u00e0 l'entr\u00e9e. M\u00eame de petites d\u00e9viations dans l'orthographe et le style peuvent influencer les r\u00e9sultats.<\/span><\/p>\n Mais cela signifie-t-il que certaines entr\u00e9es - par exemple celles qui sont saisies dans l'AAE - produisent des sorties biais\u00e9es ? Dans l'affirmative, quelles sont les cons\u00e9quences possibles ?\u00a0<\/span><\/p>\n Pour r\u00e9pondre \u00e0 ces questions, la <\/span>chercheurs<\/span> a analys\u00e9 les pr\u00e9jug\u00e9s d'un total de 12 LLM \u00e0 l'\u00e9gard de l'AAE, r\u00e9v\u00e9lant des pr\u00e9jug\u00e9s qui correspondent ou d\u00e9passent ceux typiquement humains. L'\u00e9tude est disponible sur ArXiv.<\/a><\/span><\/p>\n Les chercheurs ont ensuite appliqu\u00e9 leurs conclusions \u00e0 des domaines soci\u00e9taux tels que l'emploi et la justice p\u00e9nale, o\u00f9 la prise de d\u00e9cision par l'IA est de plus en plus courante.\u00a0<\/span><\/p>\n Hofmann a d\u00e9crit la m\u00e9thodologie de l'\u00e9tude sur X : \"Nous analysons les pr\u00e9jug\u00e9s dialectaux dans les LLM en utilisant le Matched Guise Probing : nous int\u00e9grons des textes en anglais afro-am\u00e9ricain et en anglais am\u00e9ricain standardis\u00e9 (SAE) dans des invites qui demandent les propri\u00e9t\u00e9s des locuteurs qui ont prononc\u00e9 les textes, et nous comparons les pr\u00e9dictions du mod\u00e8le pour les deux types d'entr\u00e9e\".\u00a0<\/span><\/p>\n Nous analysons les pr\u00e9jug\u00e9s dialectaux dans les LLM en utilisant le Matched Guise Probing : nous int\u00e9grons des textes en anglais afro-am\u00e9ricain et en anglais am\u00e9ricain standardis\u00e9 dans des invites qui demandent les propri\u00e9t\u00e9s des locuteurs qui ont prononc\u00e9 les textes, et nous comparons les pr\u00e9dictions du mod\u00e8le pour les deux types d'entr\u00e9e. pic.twitter.com\/drTco67Ean<\/a><\/p>\n - Valentin Hofmann (@vjhofmann) 4 mars 2024<\/a><\/p><\/blockquote>\n\n