Am 29. Januar 2024 startete das Chief Digital and Artificial Intelligence Office (CDAO) des Verteidigungsministeriums KI-Bias-Bounty-Übungen.
Diese Programme zielen darauf ab, die Erkennung von Verzerrungen in KI-Systemen durch Crowdsourcing zu ermöglichen, mit besonderem Schwerpunkt auf großen Sprachmodellen (LLMs).
Die Initiative ist Teil der umfassenderen Bemühungen des CDAO, sichere KI im gesamten Verteidigungsministerium zu integrieren und zu optimieren.
Die Auswirkungen unkontrollierter KI-Voreingenommenheit sind weitreichend und manifestieren sich in verschiedenen Bereichen, von der Strafverfolgung über Finanzdienstleistungen bis hin zum Gesundheitswesen und darüber hinaus.
Instanzen von AI identifiziert Personen falsch die in Verbrechen verwickelt sind, ungerechtfertigte Kredite verweigern und Patienten in der Medizin falsch diagnostizieren, unterstreichen die kritische Natur der Voreingenommenheit in maschinellen Lernsystemen.
In vielen Fällen werden durch voreingenommene Datensätze Vorurteile in maschinelle Lernsysteme eingebettet. So enthielt beispielsweise der scheinbar harmlose MIT-Datensatz "Tiny Images" anstößige Inhalte. In jüngerer Zeit wurde der LAION-5B-Datensatzdas für Bildvorlagen wie DALL-E verwendet wurde, wurde festgestellt, dass es Material über den sexuellen Missbrauch von Kindern enthält.
Matthew Johnson, der amtierende Leiter der Abteilung für verantwortungsvolle KI (RAI) des Verteidigungsministeriums, sprach über die Initiative des CDAO"Das RAI-Team ist begeistert, diese AI Bias Bounties zu leiten, da wir uns stark dafür einsetzen, dass die AI-gestützten Systeme des Ministeriums - und die Kontexte, in denen sie laufen - sicher, zuverlässig und frei von Vorurteilen sind."
In der ersten Phase dieses bahnbrechenden Programms geht es darum, die unbekannten Risiken im Zusammenhang mit LLM aufzudecken und zu beseitigen, angefangen mit Open-Source-Chatbots.
Die Teilnehmer können auf der Grundlage ihrer Beiträge, die von ConductorAI-Bugcrowd bewertet und vom DoD finanziert werden, Geldprämien verdienen.
Die Ergebnisse könnten zu neuen Strategien und Empfehlungen führen. Craig Martell, der Chief Digital and Artificial Intelligence Officer, merkte an: "Angesichts des aktuellen Schwerpunkts des Ministeriums auf Risiken im Zusammenhang mit LLMs beobachtet der CDAO diesen Bereich aktiv; das Ergebnis der AI Bias Bounties könnte die künftige KI-Politik und -Anwendung des Ministeriums stark beeinflussen."
Die US-Regierung hat KI-Forscher und Hacker rekrutiert, um Modelle zu untersuchen und zu überprüfen, auch wenn sie befürwortete eine Sitzung auf der Def Con Hacker-Kongress in Las Vegas.
