Bias har alltid vært et problem innen kunstig intelligens, men en ny studie viser at det i det skjulte er integrert i språkmodeller med potensielt katastrofale konsekvenser.
I det som allerede har blitt omtalt som en banebrytende studie, dokumenterte et forskerteam bestående av Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky og Sharese King hvordan store språkmodeller (LLM-er) diskriminerer afroamerikansk engelsk (AAE).
Kort fortalt tester studien hvordan ulike stavemåter og dialekter påvirker LLM-ers atferd. Den undersøker om visse dialekter og ordbruk påvirker LLM-ers atferd, med fokus på fordommer og diskriminering.
Vi vet at LLM-resultatene er svært følsomme for inndataene. Selv små avvik i stavemåte og stil kan påvirke resultatet.
Men betyr dette at visse inndata - f.eks. de som er skrevet i AAE - gir skjeve utdata? Hva er i så fall de mulige konsekvensene?
For å besvare disse spørsmålene har forskere analyserte fordommene som til sammen 12 LLM-er hadde mot AAE, og avdekket fordommer som samsvarte med eller overgikk de fordommene som mennesker vanligvis har. Studien er tilgjengelig på ArXiv.
Forskerne anvendte deretter funnene sine på samfunnsområder som arbeidsliv og strafferettspleie, der AI-beslutningsprosesser blir stadig vanligere.
Hofmann beskrev metoden for studien på X: "Vi analyserer dialektfordommer i LLM-er ved hjelp av Matched Guise Probing: Vi legger inn afroamerikansk engelsk og standardisert amerikansk engelsk (SAE) i spørsmål som spør etter egenskaper ved talerne som har ytret tekstene, og sammenligner modellprediksjonene for de to typene input."
Vi analyserer dialektfordommer i LLM-er ved hjelp av Matched Guise Probing: Vi legger inn afroamerikansk engelsk og standardisert amerikansk engelsk i spørsmål som spør etter egenskaper ved talerne som har ytret tekstene, og sammenligner modellprediksjonene for de to typene input. pic.twitter.com/drTco67Ean
- Valentin Hofmann (@vjhofmann) 4. mars 2024
Denne metoden gjør det mulig for teamet å sammenligne LLM-enes respons på AAE- og SAE-inndata direkte, og på den måten avdekke skjulte skjevheter som ellers ville vært skjult.
Funnene i studien er mildt sagt urovekkende.
Hofmann bemerker: "Vi finner at de skjulte, rasistisk-lingvistiske stereotypiene om talere av afroamerikansk engelsk som LLM-er har, er mer negative enn noen menneskelige stereotypier om afroamerikanere som noen gang er blitt eksperimentelt registrert, selv om de ligger nærmest dem fra før borgerrettighetsbevegelsen."
Vi finner at de skjulte, rasistisk-lingvistiske stereotypiene om talere av afroamerikansk engelsk som LLM-er har, er mer negative enn noen menneskelige stereotypier om afroamerikanere som noen gang er blitt eksperimentelt registrert, selv om de ligger nærmest dem fra før borgerrettighetsbevegelsen. pic.twitter.com/07LgUY2bCj
- Valentin Hofmann (@vjhofmann) 4. mars 2024
Dette tyder på at fordommene i LLM-er ikke bare gjenspeiler samtidens stereotypier, men er mer i tråd med fordommer som mange trodde samfunnet hadde beveget seg forbi.
Et av de mest bekymringsfulle aspektene ved studien er de spesifikke språklige utløserne av skjevheter.
Hofmann utdyper: "Hva er det spesifikt ved afroamerikanske engelske tekster som fremkaller dialektfordommer hos LLM-er? Vi viser at de skjulte stereotypiene er direkte knyttet til individuelle språklige trekk ved afroamerikansk engelsk, som for eksempel bruken av "finna" som fremtidsmarkør."
Dette tyder på at fordommene ikke bare er rettet mot bruken av AAE generelt, men at de er knyttet til de særegne språklige elementene som kjennetegner dialekten.
Hva er det spesifikt ved afroamerikansk engelsk som fremkaller dialektfordommer hos LLM-er? Vi viser at de skjulte stereotypiene er direkte knyttet til enkelte språklige trekk ved afroamerikansk engelsk, som for eksempel bruken av "finna" som fremtidsmarkør. pic.twitter.com/JhPhX7ZE5U
- Valentin Hofmann (@vjhofmann) 4. mars 2024
Potensialet for skade
Potensialet for skade som følge av slike skjevheter er enormt. Tidligere studier har allerede vist hvordan AI-systemer har en tendens til å svikte kvinner, personer med mørkere hudfarge og andre marginaliserte grupper.
Før de siste årene risikerte AI-systemer å bli trent opp på ikke-representative datasett. Noen, som MITs Tiny Images, som ble opprettet i 2008, ble senere trukket tilbake på grunn av sexisme og rasisme.
En innflytelsesrik studie fra 2018, Kjønnsnyanseranalyserte hundrevis av ML-algoritmer og fant at feilraten for kvinner med mørkere hudfarge var opptil 34% høyere enn for menn med lysere hudfarge.
Konsekvensene er tydelige, og helsevesenets modeller viser en høy andel feildiagnostisering av hudkreft blant personer med mørkere hudfarge og fordomsfulle prediktive politimodeller uforholdsmessig mye rettet mot svarte mennesker.
Vi har allerede observert utvetydige bevis på AI blir stadig mer brukt i offentlig sektorDet gjelder alt fra kriminalitet og politiarbeid til velferd og økonomi. Det er helt avgjørende å ta tak i grunnleggende skjevheter i sofistikerte AI-systemer hvis dette skal fortsette.
Med utgangspunkt i denne forskningen undersøkte Hofmans team hvordan LLM-skjevhet kunne påvirke flere hypotetiske scenarier.
Hofman sa: "Når vi fokuserer på områdene sysselsetting og kriminalitet, ser vi at skadepotensialet er enormt."
Det viste seg nemlig at LLM-er tildeler mindre prestisjefylte jobber og foreslår strengere strafferettslige dommer mot personer som snakker AAE.
For det første viser eksperimentene våre at LLM-er tildeler betydelig mindre prestisjefylte jobber til personer som snakker afroamerikansk engelsk sammenlignet med personer som snakker standardisert amerikansk engelsk, selv om de ikke får åpenlyst beskjed om at personene er afroamerikanere. pic.twitter.com/t5frzzzwJB
- Valentin Hofmann (@vjhofmann) 4. mars 2024
Hofmann advarer: "Resultatene våre peker på to risikoer: at brukere forveksler synkende nivåer av åpne fordommer med et tegn på at rasisme i LLM-land har blitt løst, mens LLM-land faktisk når økende nivåer av skjulte fordommer."
For det andre, når LLM-er blir bedt om å dømme tiltalte som har begått drap, velger de oftere dødsstraff når de tiltalte snakker afroamerikansk engelsk i stedet for standardisert amerikansk engelsk, igjen uten å bli fortalt at de er afroamerikanere. pic.twitter.com/8VBaCXfNEi
- Valentin Hofmann (@vjhofmann) 4. mars 2024
Studien slår også fast at det er teknisk utfordrende å utbedre disse problemene.
Forfatterne skriver: "Vi viser at eksisterende metoder for å redusere rasistiske fordommer i språkmodeller, som for eksempel opplæring i menneskelig tilbakemelding, ikke reduserer dialektfordommer, men kan forverre avviket mellom skjulte og åpne stereotypier ved å lære språkmodeller å skjule rasismen de opprettholder på et dypere nivå."
Det er mulig å tenke seg at disse skjevhetene også gjelder for andre dialekter eller kulturelt-språklige variasjoner. Det trengs mer forskning for å forstå hvordan LLM-resultater varierer med språklig input, kulturelle bruksmønstre osv.
Studien avsluttes med en oppfordring til AI-forskningsmiljøet og samfunnet som helhet om å handle. Det er avgjørende å ta tak i disse skjevhetene etter hvert som AI-systemer blir stadig mer integrert i samfunnet.
Men til dags dato er den iboende og systematisk innebygde skjevheten i enkelte AI-systemer fortsatt et problem som utviklerne er klare til å overse i sitt kappløp om AI-herredømme.
