Bias har alltid v\u00e6rt et problem innen kunstig intelligens, men en ny studie viser at det i det skjulte er integrert i spr\u00e5kmodeller med potensielt katastrofale konsekvenser.<\/b><\/p>\n
I det som allerede har blitt omtalt som en banebrytende studie, dokumenterte et forskerteam best\u00e5ende av Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky og Sharese King hvordan store spr\u00e5kmodeller (LLM-er) diskriminerer afroamerikansk engelsk (AAE).<\/span><\/p>\n Kort fortalt tester studien hvordan ulike stavem\u00e5ter og dialekter p\u00e5virker LLM-ers atferd. Den unders\u00f8ker om visse dialekter og ordbruk p\u00e5virker LLM-ers atferd, med fokus p\u00e5 fordommer og diskriminering.\u00a0<\/span><\/p>\n Vi vet at LLM-resultatene er sv\u00e6rt f\u00f8lsomme for inndataene. Selv sm\u00e5 avvik i stavem\u00e5te og stil kan p\u00e5virke resultatet.<\/span><\/p>\n Men betyr dette at visse inndata - f.eks. de som er skrevet i AAE - gir skjeve utdata? Hva er i s\u00e5 fall de mulige konsekvensene?\u00a0<\/span><\/p>\n For \u00e5 besvare disse sp\u00f8rsm\u00e5lene har <\/span>forskere<\/span> analyserte fordommene som til sammen 12 LLM-er hadde mot AAE, og avdekket fordommer som samsvarte med eller overgikk de fordommene som mennesker vanligvis har. Studien er tilgjengelig p\u00e5 ArXiv.<\/a><\/span><\/p>\n Forskerne anvendte deretter funnene sine p\u00e5 samfunnsomr\u00e5der som arbeidsliv og strafferettspleie, der AI-beslutningsprosesser blir stadig vanligere.\u00a0<\/span><\/p>\n Hofmann beskrev metoden for studien p\u00e5 X: \"Vi analyserer dialektfordommer i LLM-er ved hjelp av Matched Guise Probing: Vi legger inn afroamerikansk engelsk og standardisert amerikansk engelsk (SAE) i sp\u00f8rsm\u00e5l som sp\u00f8r etter egenskaper ved talerne som har ytret tekstene, og sammenligner modellprediksjonene for de to typene input.\"\u00a0<\/span><\/p>\n Vi analyserer dialektfordommer i LLM-er ved hjelp av Matched Guise Probing: Vi legger inn afroamerikansk engelsk og standardisert amerikansk engelsk i sp\u00f8rsm\u00e5l som sp\u00f8r etter egenskaper ved talerne som har ytret tekstene, og sammenligner modellprediksjonene for de to typene input. pic.twitter.com\/drTco67Ean<\/a><\/p>\n - Valentin Hofmann (@vjhofmann) 4. mars 2024<\/a><\/p><\/blockquote>\n\n