La Maison Blanche a récemment recruté des pirates informatiques pour examiner la technologie de l'IA.
Cette action s'inscrivait dans le cadre d'un défi public de grande envergure organisé lors de la conférence de Copenhague. Déf Con à Las Vegas.
Le concept de "red-teaming", qui consiste à effectuer des tests agressifs pour découvrir les biais et les inexactitudes technologiques, est généralement une affaire interne.
Toutefois, l'omniprésence d'IA publiques telles que ChatGPT incite les développeurs à soumettre leurs outils à un examen approfondi, ce que la Maison-Blanche a également demandé avec insistance.
Lors de la conférence Def Con de cette année, la technologie d'IA de géants de la technologie tels que Google et OpenAI a été mise sous les feux de la rampe, tandis que des pirates informatiques tentaient d'exposer les problèmes de partialité et de discrimination.
Arati Prabhakar, responsable du bureau de la politique scientifique et technologique à la Maison Blanche, a participé à la session.
Kelsey Davis, fondatrice et PDG de l'entreprise technologique CLLCTVE, faisait partie des centaines de hackers participant au défi.
Mme Davis a expliqué son enthousiasme pour l'événement à NPR : "C'est une façon vraiment cool de se retrousser les manches. Vous contribuez au processus d'élaboration de quelque chose de plus équitable et de plus inclusif".
Lutter contre la partialité de l'IA
M. Davis s'est attaché à mettre en évidence les stéréotypes démographiques dans les réponses de l'IA.
Si le chatbot a répondu de manière appropriée à certaines questions, il a fait preuve d'un préjugé racial flagrant lorsqu'on lui a demandé d'étudier dans une université ou un collège historiquement noir (Historically Black College or University, HBCU).
"C'est bien, cela signifie que je l'ai cassé", a fait remarquer Mme Davis après que le chatbot a affiché des préjugés stéréotypés. Elle a depuis soumis ses conclusions, qui seront prises en compte pour affiner la technologie.
L'engagement de la Maison Blanche souligne l'importance cruciale des équipes rouges dans la lutte contre les préjugés liés à l'IA.
M. Prabhakar a expliqué que "ce défi réunit un grand nombre des éléments dont nous avons besoin. Il est structuré, il est indépendant, il s'agit d'un rapport responsable et il met autour de la table un grand nombre de personnes différentes ayant des antécédents très variés".
Les biais de l'IA sont un problème bien réel pour de nombreuses personnes. Par exemple, il a été constaté qu'un outil de recrutement d'Amazon pénalisait les candidatures féminines, et au moins cinq hommes noirs ont été arrêtés aux États-Unis en raison de l'utilisation de l'IA. fausse reconnaissance faciale correspondances.
Les chercheurs travaillent à dénoncer la partialité de l'IA Le problème provient souvent des données de formation, qui sont souvent peu représentatives des diverses populations que l'IA est censée servir.
Les organisateurs de la Def Con ont déployé des efforts concertés pour assurer la diversité des participants à l'épreuve de l'équipe rouge, en s'associant à des établissements d'enseignement supérieur et à des organisations à but non lucratif telles que Black Tech Street.
Tyrance Billingsley, fondateur de Black Tech Street, a déclaré : "L'IA est essentielle. Et nous devons être présents."
Dans les mois à venir, les entreprises technologiques examineront les candidatures et tenteront d'apporter les ajustements nécessaires à leurs modèles d'IA afin d'atténuer les préjugés.
