Ny forskning har avdekket potensielle skjevheter mot personer som ikke har engelsk som morsmål i programvare for AI-deteksjon.
Den studie tyder på at over halvparten av oppgavene som ikke er skrevet på engelsk av mennesker, feilaktig blir markert som AI-genererte. Konsekvensene av slike falske positiver er betydelige, særlig for studenter og jobbsøkere.
Studien testet syv mye brukte AI-tekstdetektorer på artikler skrevet av personer som ikke har engelsk som morsmål. Resultatene viste en høy andel falske positive, og disse artiklene ble feilaktig klassifisert som AI-generert.
James Zou, assisterende professor i biomedisinsk datavitenskap ved Stanford University, ledet teamet som kjørte 91 essays skrevet av personer som ikke har engelsk som morsmål, gjennom syv populære GPT-detektorer.
Disse essayene, som var skrevet for den globalt anerkjente TOEFL-testen (Test of English as a Foreign Language), hadde mer enn halvparten feilaktig blitt markert som AI-genererte. I ett tilfelle flagget et program til og med 98% av essayene som AI-skapte.
Når programvaren derimot analyserte essays skrevet av engelskspråklige åttendeklassinger fra USA, ble over 90% korrekt identifisert som menneskeskapte.
AI-detektorer har fått mye kritikk for å straffe enkeltpersoner med falske positiver, selv om noen er betydelig verre enn andre.
Et av hovedfunnene i studien er at AI-detektorer ofte sliter med å tolke uttrykk som brukes av personer som ikke har engelsk som morsmål.
Disse systemene er først og fremst trent på data fra personer med engelsk som morsmål, noe som fører til at de stempler visse fraser eller strukturer som feil bare fordi de avviker fra det som anses som innfødt engelsk språkbruk.
Personer som ikke har engelsk som morsmål kan bli diskriminert
Konsekvensene av dette er vidtrekkende. Personer som ikke har engelsk som morsmål, kan møte utfordringer når de skal levere inn oppgaver via automatiserte vurderingsplattformer som brukes av utdanningsinstitusjoner.
I tillegg kan diskriminerende algoritmer urettferdig straffe elever som ikke har engelsk som førstespråk, og på den måten opprettholde sosial ulikhet i klasserommet.
Forfatterne konkluderer: "Vi advarer på det sterkeste mot bruk av GPT-detektorer i evaluerings- eller undervisningssammenheng, særlig når man vurderer arbeidet til personer som ikke har engelsk som morsmål."
Men hvorfor blir AI-deteksjonsalgoritmer hindret av fremmedspråklig engelsk tekst?
AI-detektorer baserer seg på "tekstperpleksitet", et mål på hvor forutsigbart en generativ språkmodell kan forutse det neste ordet i en setning. Lav perpleksitet indikerer at det er lett å forutsi, mens høy perpleksitet gjenspeiler en mindre forutsigbar setning. Komplekse ord, fraser, sammenligninger, metaforer og idiomer vil øke perplexity-poengsummen, noe som kan være en mangelvare hos skribenter som ikke har engelsk som morsmål.
AI-er har en tendens til å sende ut en mer forutsigbar rekkefølge av ord. Mennesker som bruker vanlige ord i kjente mønstre, risikerer dermed at arbeidet deres forveksles med AI-produsert tekst.
Dette gjelder selvfølgelig ikke bare tekster som ikke er skrevet på morsmålet, men også tekster som er skrevet i en bestemt stil eller på et bestemt lesenivå. For eksempel risikerer tekst som er utformet for å være lettlest, å bli flagget.
Ironisk nok brukte forskerne ChatGPT til å omskrive de flaggede TOEFL-essayene med et mer komplekst språk, etter å ha identifisert denne iboende skjevheten.
Etter å ha blitt behandlet på nytt gjennom AI-detektorene, ble alle redigerte essays stemplet som menneskeskrevne. Dette resultatet understreker en noe paradoksal situasjon - disse detektorene kan utilsiktet oppmuntre fremmedspråklige skribenter til å bruke kunstig intelligens i større grad for å unngå å bli oppdaget.
Lærere bruker mer enn AI-detektorer for å slå ned på plagiat. De gjennomfører flere skriveoppgaver i klasserommet, ser nærmere på bruken av referanser og nøyaktigheten av disse, og analyserer sitater for å se om de er autentiske.
I mellomtiden er utdanningsinstitusjoner i ferd med å etablere regler for bruk og styring av kunstig intelligens, blant annet den britiske Russell-gruppen av universiteter, som nylig lanserte en felles uttalelse om kunstig intelligens.
