Den 29 januari 2024 lanserade försvarsdepartementets Chief Digital and Artificial Intelligence Office (CDAO) AI Bias Bounty-övningar.
Dessa program syftar till att genom crowdsourcing upptäcka partiskhet i AI-system, med särskild tonvikt på stora språkmodeller (LLM).
Initiativet är en del av CDAO:s bredare satsning på att integrera och optimera säker AI inom hela försvarsdepartementet.
Konsekvenserna av okontrollerade AI-fördomar är långtgående och manifesterar sig i olika sektorer, från brottsbekämpning och finansiella tjänster till hälso- och sjukvård och mer därtill.
Instanser av AI felidentifierar individer som är inblandade i brott, nekar orättmätig kredit och feldiagnostiserar patienter i medicinska miljöer understryker den kritiska karaktären av partiskhet i maskininlärningssystem.
I många fall innebär partiska dataset att maskininlärningssystem blir partiska. Till exempel innehöll den till synes oskyldiga MIT Tiny Images-datasetet stötande innehåll. På senare tid har LAION-5B-datasetsom används för bildmodeller som DALL-E, visade sig innehålla material om sexuella övergrepp på barn.
Matthew Johnson, tillförordnad chef för DoD:s avdelning för ansvarsfull AI (RAI), talade om CDAO:s initiativ"RAI-teamet är glada över att leda dessa AI Bias Bounties, eftersom vi är starkt engagerade i att se till att avdelningens AI-aktiverade system - och de sammanhang där de körs - är säkra, säkra, tillförlitliga och fördomsfria."
Den första fasen av detta banbrytande program fokuserar på att avslöja och hantera de okända risker som är förknippade med LLM, med början med chatbots med öppen källkod.
Deltagarna kan tjäna monetära belöningar baserat på sina bidrag, som utvärderas av ConductorAI-Bugcrowd och finansieras av DoD.
Resultaten kan ligga till grund för nya policyer och rekommendationer. Craig Martell, Chief Digital and Artificial Intelligence Officer, noterade: "Med tanke på avdelningens nuvarande fokus på risker i samband med LLM övervakar CDAO aktivt detta område; resultatet av AI Bias Bounties kan kraftfullt påverka DoD: s framtida AI-policyer och antagande."
USA:s regering har rekryterat AI-forskare och hackare för att undersöka modeller, bland annat när de godkände en session vid Def Con hackingkonferens i Las Vegas.
