Den 29. januar 2024 lancerede forsvarsministeriets Chief Digital and Artificial Intelligence Office (CDAO) AI Bias Bounty-øvelser.
Disse programmer har til formål at crowdsource opdagelsen af bias i AI-systemer med særlig vægt på store sprogmodeller (LLM'er).
Initiativet er en del af CDAO's bredere indsats for at integrere og optimere sikker AI på tværs af forsvarsministeriet.
Konsekvenserne af ukontrollerede AI-bias er vidtrækkende og manifesterer sig i forskellige sektorer, fra retshåndhævelse og finansielle tjenester til sundhedspleje og meget mere.
Forekomster af AI identificerer individer forkert der er involveret i forbrydelser, nægter uretfærdig kredit og fejldiagnosticerer patienter i medicinske sammenhænge, understreger den kritiske karakter af bias i maskinlæringssystemer.
I mange tilfælde indlejrer forudindtagede datasæt forudindtagethed i maskinlæringssystemer. For eksempel indeholdt det tilsyneladende uskyldige MIT Tiny Images-datasæt stødende indhold. For nylig blev LAION-5B-datasætder blev brugt til billedmodeller som DALL-E, viste sig at indeholde materiale om sexmisbrug af børn.
Matthew Johnson, fungerende chef for DoD's Responsible AI (RAI) Division, talte om CDAO's initiativ"RAI-teamet er begejstret for at lede disse AI Bias Bounties, da vi er stærkt engagerede i at sikre, at ministeriets AI-aktiverede systemer - og de sammenhænge, de kører i - er trygge, sikre, pålidelige og fordomsfri."
Den første fase af dette banebrydende program fokuserer på at afdække og håndtere de ukendte risici, der er forbundet med LLM'er, startende med open source-chatbots.
Deltagerne kan optjene penge på baggrund af deres bidrag, som evalueres af ConductorAI-Bugcrowd og finansieres af forsvarsministeriet.
Resultaterne kan føre til nye politikker og anbefalinger. Craig Martell, Chief Digital and Artificial Intelligence Officer, bemærkede: "I betragtning af ministeriets nuværende fokus på risici i forbindelse med LLM'er overvåger CDAO aktivt dette område; resultatet af AI Bias Bounties kan få stor indflydelse på Forsvarsministeriets fremtidige AI-politikker og -anvendelse."
Den amerikanske regering har rekrutteret AI-forskere og hackere til at undersøge og afvise modeller, også når de støttede en session på Def Con hacking-konference i Las Vegas.
