Des experts estiment que l'industrie de l'IA devrait s'inspirer de la sûreté nucléaire

6 juin 2023
sécurité nucléaire

Le développement de l'IA a été rapide, ce qui signifie que la réglementation doit rattraper son retard et que la gouvernance est en quelque sorte une réflexion après coup.

Il existe peu de processus formels pour garantir la sécurité de l'IA, et les chercheurs affirment qu'il incombe à l'industrie de changer cela.

De nombreux leaders de l'IA et personnalités du secteur ont comparé l'IA à l'énergie nucléaire. Les similitudes sont nombreuses - L'IA se développe rapidement, elle pose un risque potentiellement existentiel et elle est compliquée par les affaires étrangères, cette fois entre les superpuissances émergentes de l'IA que sont les États-Unis et la Chine.

Il a fallu des décennies avant que les ingénieurs nucléaires ne convainquent la communauté scientifique de la sûreté des réacteurs nucléaires. Les premiers réacteurs ont été construits à la fin des années 40 et au début des années 50, et il a fallu attendre la loi américaine sur l'énergie atomique de 1954 pour qu'un certain niveau de réglementation fasse surface. 

Le gouvernement américain était conscient des risques liés à l'énergie nucléaire, mais l'URSS a mis en service son premier réacteur civil à la mi-1954, et les États-Unis n'ont donc pas tardé à construire le leur. En 1955, le commissaire Willard F. Libby a déclaré : "Notre grand risque est que ce grand bienfait pour l'humanité soit tué dans l'œuf par une réglementation inutile."

Est-ce que quelque chose vous semble familier ? Ce n'est que le mois dernier que le PDG d'OpenAI, Sam Altman a préconisé la création d'un organisme international pour la sécurité de l'IA comme l'Agence internationale de l'énergie atomique (AIEA), fondée en 1957. À l'instar de l'énergie nucléaire, l'IAes gouvernements du monde entier s'efforcent de préserver les avantages de l'IA tout en en réglementant les risques. 

L'AIEA était une composante autonome des Nations unies et compte aujourd'hui 174 États membres. Après 1957, il y a eu relativement peu de catastrophes nucléaires jusqu'à Tchernobyl.

L'IA doit s'inspirer de l'histoire de la sûreté nucléaire

Heidy Khlaaf, directeur de l'ingénierie au sein de la société de conseil en cybersécurité Piste de bitsLe système de contrôle de la sécurité des centrales nucléaires, utilisé pour évaluer et vérifier la sécurité des centrales nucléaires. Elle a récemment déclaré au MIT que les centrales nucléaires requièrent des milliers de documents certifiant leur sécurité, en s'attardant sur les moindres nuances de chaque composant. 

Après Tchernobyl, la réglementation nucléaire est devenue extrêmement stricte. La planification, l'autorisation et la construction d'un réacteur nucléaire peuvent prendre dix ans ou plus, en partie parce que le processus est rigoureusement contrôlé à chaque étape. Khlaaf note que cela n'a rien à voir avec les profits - la sécurité nucléaire est née d'un véritable risque existentiel. 

En revanche, les entreprises spécialisées dans l'IA présentent leurs modèles à l'aide de simples "cartes" qui énumèrent essentiellement des fonctions. 

En outre, le fonctionnement interne du modèle est souvent une "boîte noire", ce qui signifie que les processus de prise de décision sont largement fermés aux observateurs externes. 

Même ChatGPT, contrairement à l'homonyme d'OpenAI, est une boîte noire, et les entreprises d'IA ont déjà acquis la réputation d'être des "boîtes noires". Les entreprises sont très prudentes en ce qui concerne leurs modèles et leurs données d'entraînement. 

Imaginez que les réacteurs nucléaires soient une "boîte noire" et que leurs concepteurs ne disent pas au public comment ils fonctionnent ? 

L'analyse des risques liés à l'IA doit être systématique 

Pour atténuer les risques que les leaders de l'IA, comme M. Altman, admettent volontiers, les entreprises doivent aller plus loin dans leurs stratégies de traçabilité. Cela implique un suivi rigoureux dès le début du processus de développement de l'IA. 

Selon M. Khlaaf, "il faut avoir une méthode systématique pour évaluer les risques. Il ne s'agit pas d'un scénario où l'on se dit : 'Oh, cela pourrait arriver. Je vais l'écrire". 

Actuellement, il n'existe pas de processus établi pour l'évaluation des risques liés à l'IA, mais des tentatives ont été faites pour en créer un. 

Par exemple, DeepMind a récemment publié un blog technique en collaboration avec plusieurs universités, spécifiant que les modèles devraient être évalués pour les "risques extrêmes" avant la formation. Le document propose deux stratégies :

  1. Évaluer l'étendue des "capacités dangereuses" d'un modèle qui pourraient être utilisées pour menacer la sécurité, exercer une influence ou échapper à la surveillance humaine.
  2. Évaluer la probabilité qu'un modèle cause des dommages, c'est-à-dire s'il risque de ne pas se comporter comme prévu. 

Toby Shevlane, l'un des chercheurs du projet, a déclaré : "Les grandes entreprises d'IA qui repoussent les frontières ont la responsabilité d'être attentives aux problèmes émergents et de les repérer rapidement afin de pouvoir y remédier le plus tôt possible."

Si l'IA doit tirer des enseignements de la sûreté nucléaire, une réglementation précoce est essentielle, mais la complaisance à long terme est mortelle. Personne ne sait à quoi ressemblerait une version IA de Tchernobyl ou de Fukushima, et personne ne veut le découvrir.

Rejoindre l'avenir


SOUSCRIRE AUJOURD'HUI

Clair, concis, complet. Maîtrisez les développements de l'IA avec DailyAI

Sam Jeans

Sam est un rédacteur scientifique et technologique qui a travaillé dans diverses start-ups spécialisées dans l'IA. Lorsqu'il n'écrit pas, on peut le trouver en train de lire des revues médicales ou de fouiller dans des boîtes de disques vinyles.

×
 
 

PDF GRATUIT EXCLUSIF
Gardez une longueur d'avance avec DailyAI


 

Inscrivez-vous à notre newsletter hebdomadaire et recevez un accès exclusif au dernier eBook de DailyAI : 'Mastering AI Tools : Your 2024 Guide to Enhanced Productivity" (Maîtriser les outils de l'IA : votre guide 2024 pour une meilleure productivité).



 
 

*En vous abonnant à notre lettre d'information, vous acceptez nos conditions d'utilisation. Politique de confidentialité et notre Conditions générales d'utilisation