Op 29 januari 2024 lanceerde het Chief Digital and Artificial Intelligence Office (CDAO) van het Ministerie van Defensie AI Bias Bounty oefeningen.
Deze programma's zijn gericht op het crowdsourcen van de detectie van vertekeningen in AI-systemen, met een bijzondere nadruk op grote taalmodellen (LLM's).
Het initiatief maakt deel uit van de bredere inspanningen van de CDAO om veilige AI te integreren en optimaliseren binnen het DoD.
De gevolgen van ongecontroleerde AI-vooroordelen zijn verstrekkend en manifesteren zich in verschillende sectoren, van wetshandhaving en financiële dienstverlening tot gezondheidszorg en daarbuiten.
Instanties van AI identificeert individuen verkeerd Betrokkenheid bij misdaden, onterechte kredietweigering en verkeerde diagnoses van patiënten in medische omgevingen onderstrepen de kritieke aard van vooroordelen in systemen voor machinaal leren.
In veel gevallen bevatten bevooroordeelde datasets bevooroordeelde systemen voor machinaal leren. De schijnbaar onschuldige MIT Tiny Images dataset bevatte bijvoorbeeld aanstootgevende inhoud. Meer recentelijk bevatte de LAION-5B datasetdat wordt gebruikt voor beeldmodellen zoals DALL-E, bleek kindermisbruikmateriaal te bevatten.
Matthew Johnson, waarnemend hoofd van de Divisie Verantwoordelijke AI (RAI) van het DoD, sprak over het initiatief van het CDAOen zei: "Het RAI-team vindt het geweldig om deze AI Bias Bounties te leiden, omdat we er alles aan doen om ervoor te zorgen dat de AI-systemen van het ministerie - en de contexten waarin ze draaien - veilig, betrouwbaar en onbevooroordeeld zijn."
De eerste fase van dit baanbrekende programma richt zich op het blootleggen en aanpakken van de onbekende risico's van LLM's, te beginnen met open-source chatbots.
Deelnemers kunnen geld verdienen op basis van hun bijdragen, die worden geëvalueerd door ConductorAI-Bugcrowd en gefinancierd door het DoD.
De resultaten kunnen als leidraad dienen voor nieuw beleid en aanbevelingen. Craig Martell, de Chief Digital and Artificial Intelligence Officer, merkte op: "Gezien de huidige focus van het departement op risico's in verband met LLM's, houdt de CDAO dit gebied actief in de gaten; de uitkomst van de AI Bias Bounties kan een grote invloed hebben op toekomstig AI-beleid van het DoD en de toepassing ervan."
De Amerikaanse overheid heeft AI-onderzoekers en hackers aangetrokken om modellen te onderzoeken en te red-teamen, ook als ze steunde een sessie op de Def Con hackconventie in Las Vegas.
