Bias har alltid varit ett problem inom AI, men en ny studie visar att det i hemlighet integreras i spr\u00e5kmodeller med potentiellt katastrofala konsekvenser.<\/b><\/p>\n
I vad som redan har kallats en banbrytande studie har ett forskarteam best\u00e5ende av Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky och Sharese King dokumenterat hur stora spr\u00e5kmodeller (LLM) diskriminerar afroamerikansk engelska (AAE).<\/span><\/p>\n Kort sagt testar studien hur olika stavning och dialekter p\u00e5verkar LLM:s beteende. Den unders\u00f6ker om vissa dialekter och ordval p\u00e5verkar en LLM:s beteende, med fokus p\u00e5 f\u00f6rdomar och diskriminering.\u00a0<\/span><\/p>\n Vi vet att LLM-utdata \u00e4r mycket k\u00e4nsliga f\u00f6r indata. \u00c4ven sm\u00e5 avvikelser i stavning och stil kan p\u00e5verka utdata.<\/span><\/p>\n Men inneb\u00e4r detta att vissa inmatningar - t.ex. de som skrivs i AAE - ger partiska utmatningar? Vilka \u00e4r i s\u00e5 fall de m\u00f6jliga konsekvenserna?\u00a0<\/span><\/p>\n F\u00f6r att besvara dessa fr\u00e5gor har <\/span>forskare<\/span> analyserade de f\u00f6rdomar som totalt 12 LLM:er hade mot AAE, och avsl\u00f6jade f\u00f6rdomar som matchar eller \u00f6verstiger de som vanligtvis finns hos m\u00e4nniskor. Studien \u00e4r tillg\u00e4nglig p\u00e5 ArXiv.<\/a><\/span><\/p>\n Forskarna till\u00e4mpade sedan sina resultat p\u00e5 samh\u00e4llsomr\u00e5den som syssels\u00e4ttning och straffr\u00e4tt, d\u00e4r beslutsfattande med hj\u00e4lp av AI blir allt vanligare.\u00a0<\/span><\/p>\n Hofmann beskrev studiens metodik p\u00e5 X: \"Vi analyserar dialektf\u00f6rdomar i LLM:er med hj\u00e4lp av Matched Guise Probing: vi b\u00e4ddar in texter p\u00e5 afroamerikansk engelska och standardiserad amerikansk engelska (SAE) i uppmaningar som efterfr\u00e5gar egenskaper hos de talare som har yttrat texterna och j\u00e4mf\u00f6r modellens f\u00f6ruts\u00e4gelser f\u00f6r de tv\u00e5 typerna av input.\"\u00a0<\/span><\/p>\n Vi analyserar dialektf\u00f6rdomar i LLM:er med hj\u00e4lp av Matched Guise Probing: vi b\u00e4ddar in texter p\u00e5 afroamerikansk engelska och standardiserad amerikansk engelska i uppmaningar som efterfr\u00e5gar egenskaper hos de talare som har yttrat texterna och j\u00e4mf\u00f6r modellens f\u00f6ruts\u00e4gelser f\u00f6r de tv\u00e5 typerna av input. pic.twitter.com\/drTco67Ean<\/a><\/p>\n - Valentin Hofmann (@vjhofmann) 4 mars 2024<\/a><\/p><\/blockquote>\n\n