Deux anciens chercheurs d'OpenAI ont écrit une lettre en réponse à l'opposition d'OpenAI au projet de loi californien controversé SB 1047 sur la sécurité de l'IA.
Les proposition de loi Si elle est adoptée par l'ensemble du Sénat d'ici la fin du mois, elle sera soumise à la signature du gouverneur Gavin Newsom.
Le projet de loi prévoit des contrôles de sécurité supplémentaires pour les modèles d'IA dont la formation coûte plus de $100 millions d'euros, ainsi qu'un "interrupteur d'arrêt" au cas où le modèle se comporterait mal. William Saunders et Daniel Kokotajlo, anciens employés d'OpenAI et dénonciateurs, se disent "déçus mais pas surpris" par l'opposition d'OpenAI au projet de loi.
OpenAILettre de la Commission à l'auteur du projet de loi, le sénateur Scott Wiener, a expliqué que, bien qu'elle soutienne l'intention du projet de loi, les lois fédérales réglementant le développement de l'IA constituent une meilleure option.
L'OpenAI affirme que les implications en matière de sécurité nationale, telles que les dommages chimiques, biologiques, radiologiques et nucléaires potentiels, sont "mieux gérées par le gouvernement fédéral et ses agences".
La lettre indique que si "les États tentent de rivaliser avec le gouvernement fédéral pour obtenir des talents et des ressources rares, cela diluera l'expertise déjà limitée des agences, ce qui conduira à une politique moins efficace et plus fragmentée pour se prémunir contre les risques de sécurité nationale et les préjudices graves".
La lettre cite également les préoccupations de la représentante Zoe Lofgren, qui estime que si le projet de loi est promulgué, "il existe un risque réel que les entreprises décident de se constituer en société dans d'autres juridictions ou simplement de ne pas commercialiser de modèles en Californie".
Réponse du dénonciateur de l'OpenAI
Les anciens employés d'OpenAI ne croient pas au raisonnement de l'entreprise. Ils expliquent : "Nous avons rejoint OpenAI parce que nous voulions garantir la sécurité des systèmes d'IA incroyablement puissants que l'entreprise développe. Mais nous avons démissionné d'OpenAI parce que nous n'avions plus confiance dans le fait qu'elle développerait ses systèmes d'IA de manière sûre, honnête et responsable."
Les auteurs de la lettre étaient également derrière le "Lettre sur le droit d'alertepublié au début de l'année.
Pour expliquer leur soutien au projet de loi SB 1047, les auteurs de la lettre affirment que "le développement de modèles d'IA d'avant-garde sans précautions de sécurité adéquates présente des risques prévisibles de dommages catastrophiques pour le public".
OpenAI a connu un exode de chercheurs en sécurité de l'IA, mais les modèles de l'entreprise n'ont pas donné lieu aux scénarios catastrophes que beaucoup redoutaient. Les dénonciateurs affirment que "c'est uniquement parce que les systèmes réellement dangereux n'ont pas encore été construits, et non parce que les entreprises ont des processus de sécurité qui pourraient gérer des systèmes réellement dangereux".
Ils ne croient pas non plus le PDG d'OpenAI, Sam Altman, lorsqu'il affirme s'être engagé en faveur de la sécurité de l'IA. "Sam Altman, notre ancien patron, a appelé à plusieurs reprises à une réglementation de l'IA. Aujourd'hui, lorsqu'une véritable réglementation est sur la table, il s'y oppose", expliquent-ils.
OpenAI n'est pas la seule entreprise à s'opposer au projet de loi. Anthropic avait également des inquiétudes, mais semble maintenant le soutenir après que des amendements aient été apportés.
Le PDG d'Anthropic, Dario Amodei, a déclaré dans sa lettre au gouverneur de Californie, Gavin Newsom, le 21 août : "Selon notre évaluation, la nouvelle loi SB 1047 est considérablement améliorée, à tel point que nous pensons que ses avantages l'emportent probablement sur ses coûts.
"Cependant, nous n'en sommes pas certains et certains aspects du projet de loi nous semblent encore préoccupants ou ambigus... Nos préoccupations initiales concernant le fait que le projet de loi pourrait entraver l'innovation en raison de la nature rapidement évolutive du domaine ont été considérablement réduites dans la version amendée".
Si la loi SB 1047 est promulguée, elle pourrait obliger des entreprises comme OpenAI à consacrer beaucoup plus de ressources à la sécurité de l'IA, mais elle pourrait aussi entraîner une migration des entreprises technologiques de la Silicon Valley.
