Bias har altid v\u00e6ret et problem i AI, men en ny unders\u00f8gelse viser, at det er skjult integreret i sprogmodeller med potentielt katastrofale konsekvenser.<\/b><\/p>\n
I det, der allerede er blevet kaldt en skels\u00e6ttende unders\u00f8gelse, dokumenterede et hold forskere, herunder Valentin Hofman, Pratyusha Ria Kalluri, Dan Jurafsky og Sharese King, hvordan store sprogmodeller (LLM'er) diskriminerer afroamerikansk engelsk (AAE).<\/span><\/p>\n Kort sagt tester unders\u00f8gelsen, hvordan forskellige stavem\u00e5der og dialekter p\u00e5virker LLM'ers adf\u00e6rd. Den unders\u00f8ger, om visse dialekter og ordbrug p\u00e5virker en LLM's adf\u00e6rd med fokus p\u00e5 fordomme og diskrimination.\u00a0<\/span><\/p>\n Vi ved, at LLM-output er meget f\u00f8lsomt over for input. Selv sm\u00e5 afvigelser i stavning og stil kan p\u00e5virke outputtet.<\/span><\/p>\n Men betyder det, at visse input - f.eks. dem, der er skrevet i AAE - giver forudindtagede output? Hvis det er tilf\u00e6ldet, hvad er s\u00e5 de mulige konsekvenser?\u00a0<\/span><\/p>\n For at besvare disse sp\u00f8rgsm\u00e5l har <\/span>Forskere<\/span> analyserede de fordomme, som i alt 12 LLM'er havde over for AAE, og afsl\u00f8rede fordomme, der matcher eller overg\u00e5r dem, som mennesker typisk har. Unders\u00f8gelsen er tilg\u00e6ngelig p\u00e5 ArXiv.<\/a><\/span><\/p>\n Forskerne anvendte derefter deres resultater p\u00e5 samfundsm\u00e6ssige omr\u00e5der som besk\u00e6ftigelse og strafferet, hvor AI-beslutningstagning bliver mere og mere almindelig.\u00a0<\/span><\/p>\n Hofmann beskrev unders\u00f8gelsesmetoden p\u00e5 X: \"Vi analyserer dialektfordomme i LLM'er ved hj\u00e6lp af Matched Guise Probing: Vi indlejrer afroamerikansk engelsk og standardiseret amerikansk engelsk (SAE) i prompts, der beder om egenskaber ved de talere, der har ytret teksterne, og sammenligner modelforudsigelserne for de to typer input.\"\u00a0<\/span><\/p>\n Vi analyserer dialektfordomme i LLM'er ved hj\u00e6lp af Matched Guise Probing: Vi indlejrer afroamerikansk engelsk og standardiseret amerikansk engelsk i prompts, der beder om egenskaber ved de talere, der har ytret teksterne, og sammenligner modellens forudsigelser for de to typer input. pic.twitter.com\/drTco67Ean<\/a><\/p>\n - Valentin Hofmann (@vjhofmann) 4. marts 2024<\/a><\/p><\/blockquote>\n\n