I pregiudizi sono sempre stati un problema nell'IA, ma un nuovo studio dimostra che sono integrati in modo occulto nei modelli linguistici con conseguenze potenzialmente catastrofiche.<\/b><\/p>\n
In quello che \u00e8 gi\u00e0 stato definito uno studio storico, un gruppo di ricercatori, tra cui Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky e Sharese King, ha documentato come i modelli linguistici di grandi dimensioni (LLM) discriminino l'inglese afroamericano (AAE).<\/span><\/p>\n In breve, lo studio verifica come le diverse ortografie e i diversi dialetti influenzino il comportamento dei LLM. Lo studio verifica se alcuni dialetti e l'uso delle parole influenzano il comportamento di un LLM, concentrandosi su pregiudizi e discriminazioni.\u00a0<\/span><\/p>\n Sappiamo che i risultati di LLM sono molto sensibili all'input. Anche piccole deviazioni ortografiche e stilistiche possono influenzare i risultati.<\/span><\/p>\n Ma questo significa che alcuni input, ad esempio quelli digitati in AAE, producono output distorti? Se s\u00ec, quali sono le possibili conseguenze?\u00a0<\/span><\/p>\n Per rispondere a queste domande, il <\/span>ricercatori<\/span> ha analizzato i pregiudizi di un totale di 12 LLM nei confronti degli AAE, rivelando pregiudizi che corrispondono o superano quelli tipici degli esseri umani. Lo studio \u00e8 disponibile su ArXiv.<\/a><\/span><\/p>\n I ricercatori hanno poi applicato le loro scoperte a settori della societ\u00e0 come l'occupazione e la giustizia penale, dove il processo decisionale dell'IA sta diventando pi\u00f9 comune.\u00a0<\/span><\/p>\n Hofmann ha descritto la metodologia dello studio su X: \"Analizziamo il pregiudizio dialettale nei LLM utilizzando il Matched Guise Probing: inseriamo testi in inglese afroamericano e in inglese americano standardizzato (SAE) in prompt che chiedono le propriet\u00e0 dei parlanti che hanno pronunciato i testi e confrontiamo le previsioni del modello per i due tipi di input\".\u00a0<\/span><\/p>\n Analizziamo il pregiudizio dialettale nei LLM utilizzando il Matched Guise Probing: inseriamo testi in inglese afroamericano e in inglese americano standardizzato in prompt che chiedono le propriet\u00e0 dei parlanti che hanno pronunciato i testi e confrontiamo le previsioni del modello per i due tipi di input. pic.twitter.com\/drTco67Ean<\/a><\/p>\n - Valentin Hofmann (@vjhofmann) 4 marzo 2024<\/a><\/p><\/blockquote>\n\n