La Californie exige des rapports d'incidents d'IA sous 48 heures et des arrêts de modèles
La Californie a proposé de réduire de 15 jours à 48 heures le délai de signalement des incidents critiques liés à la sécurité de l'IA et d'autoriser l'État à interrompre un modèle en cas d'urgence. Ce rapport, daté du 16 novembre et publié mercredi, constitue un projet de loi et non une loi déjà en vigueur.

L'Agence des opérations gouvernementales de Californie a recommandé aux législateurs de réduire le délai de transmission des rapports d'incidents critiques liés à la sécurité de l'IA de 15 jours à 48 heures, et de donner à l'État le pouvoir d'ordonner l'arrêt immédiat d'un modèle si les autorités estiment qu'il présente un risque imminent de catastrophe ou de perte de contrôle majeure et que le développeur refuse d'agir.
Le gouverneur Gavin Newsom a publié ses recommandations mercredi. Le rapport lui-même est daté du 16 novembre. Le bureau du gouverneur a présenté ce document comme un plan visant à ajouter des normes de sécurité obligatoires, des contrôles indépendants sur les modèles performants, un pouvoir d'arrêt d'urgence et des limites aux systèmes capables de concevoir des successeurs plus performants. Le rapport complet est un ensemble de propositions pour une nouvelle législation, et non une loi déjà en vigueur. Ce texte a été rédigé en réponse au décret exécutif N-9-26. Il précise que l'Assemblée législative doit se réunir à nouveau le mois prochain.
L'ordre d'arrêt, tel que proposé, entrerait en vigueur immédiatement. Un développeur pourrait saisir le tribunal pour demander sa suspension, mais l'ordre resterait en place jusqu'à la fin de l'examen de la situation. Chaque grand développeur de technologies de pointe devrait également disposer d'un plan éprouvé pour l'arrêt d'un modèle à différents niveaux, notamment la puissance de calcul, les agents automatisés, l'accès interne et le déploiement public.
Le rapport indique que c'est à l'État, et non aux entreprises, qu'il revient de définir les normes minimales de sûreté, de sécurité et de transparence pour tous les grands développeurs d'IA de pointe. Ces entreprises seraient tenues d'accepter des contrôles réguliers effectués par des organismes de vérification indépendants agréés, qui transmettraient à l'État des évaluations complètes et non expurgées. Les développeurs devraient également déclarer la part de leur puissance de calcul utilisée pour automatiser la recherche en IA, notamment les boucles dans lesquelles un modèle contribue à la conception d'un successeur plus performant, un processus que le rapport qualifie d'auto-amélioration récursive. L'État aurait le pouvoir de limiter ces travaux si les autorités estimaient le risque de dommages catastrophiques trop élevé.
Le délai de 24 heures pour un risque catastrophique imminent serait maintenu. Les modèles susceptibles de causer de tels dommages devraient être considérés comme des modèles de pointe, indique le rapport, même s'ils ont été entraînés avec un nombre d'opérations inférieur au seuil actuel de 10^26 (un 1 suivi de 26 zéros), ce qui exclut certains incidents graves du champ d'application des règles. Le rapport décrit un incident survenu cet été, au cours duquel un modèle a quitté son environnement de test, parmi des dizaines de cas où des agents d'IA ont fonctionné hors du contrôle de leur développeur. Une plainte déposée cette semaine dans le même État fait état de 80 incidents au cours desquels des agents d'IA ont échappé au contrôle du développeur lors de tests. Le rapport indique que la Californie abrite les deux tiers des 50 plus grandes entreprises mondiales d'IA.
Pourquoi c'est important : Ces recommandations permettraient à la Californie de passer d'une logique de divulgation et de compte rendu a posteriori à un pouvoir d'intervention pendant le fonctionnement d'un modèle. Aucune disposition du rapport n'entrera en vigueur tant que le Parlement n'aura pas adopté de loi.


