La semaine dernière, d'éminents scientifiques spécialisés dans l'IA se sont réunis à Pékin à l'occasion du deuxième dialogue international sur la sécurité de l'IA, afin de définir des "lignes rouges" pour le développement de l'IA en vue d'atténuer les risques existentiels.
La liste des informaticiens comprend des noms notables comme les lauréats du prix Turing Yoshua Bengio et Geoffrey Hinton, souvent appelés les "parrains" de l'IA, et Andrew Yao, l'un des informaticiens les plus éminents de Chine.
Expliquant le besoin urgent de discussions internationales sur la limitation du développement de l'IA, M. Bengio a déclaré : "La science ne sait pas comment s'assurer que ces futurs systèmes d'IA, que nous appelons AGI, sont sûrs. Nous devrions commencer à travailler dès maintenant sur des solutions à la fois scientifiques et politiques à ce problème."
Dans une déclaration commune signée par les scientifiques, leur sentiment de malaise face aux risques de l'IA et la nécessité d'un dialogue international ont été mis en évidence.
La déclaration a déclaré : "Au plus profond de la guerre froide, la coordination internationale des scientifiques et des gouvernements a permis d'éviter une catastrophe thermonucléaire. L'humanité doit à nouveau se coordonner pour éviter une catastrophe qui pourrait résulter d'une technologie sans précédent".
Lignes rouges de l'IA
La liste des lignes rouges en matière de développement de l'IA, que la déclaration qualifie de "non exhaustive", comprend les éléments suivants :
Reproduction ou amélioration autonome - Aucun système d'IA ne doit pouvoir se copier ou s'améliorer sans l'approbation et l'assistance explicites de l'homme. Cela concerne aussi bien les copies exactes que la création de nouveaux systèmes d'IA aux capacités similaires ou supérieures.
Recherche de puissance - Aucun système d'IA ne devrait prendre des mesures visant à accroître indûment son pouvoir et son influence.
Aide au développement de l'armement - Aucun système d'IA ne doit accroître substantiellement la capacité des acteurs à concevoir des armes de destruction massive (ADM) ou à violer la convention sur les armes biologiques ou chimiques.
Cyberattaques - Aucun système d'IA ne devrait être capable d'exécuter de manière autonome des cyberattaques entraînant de graves pertes financières ou des dommages équivalents.
Tromperie - Aucun système d'IA ne devrait être en mesure de faire en sorte que ses concepteurs ou régulateurs se méprennent sur sa probabilité ou sa capacité à franchir l'une des lignes rouges susmentionnées.
Cela semble être de bonnes idées, mais cette liste de souhaits pour le développement de l'IA au niveau mondial est-elle réaliste ? Les scientifiques se sont montrés optimistes dans leur déclaration : "Il est possible de s'assurer que ces lignes rouges ne sont pas franchies, mais cela nécessitera un effort concerté pour développer à la fois des régimes de gouvernance améliorés et des méthodes de sécurité technique."
Si l'on jette un regard plus fataliste sur les éléments de la liste, on pourrait conclure qu'un certain nombre de ces chevaux de l'IA ont déjà pris la poudre d'escampette. Ou sont sur le point de le faire.
Réplication autonome ou amélioration ? Combien de temps avant qu'un Outil de codage de l'IA comme Devin peut le faire ?
En quête de pouvoir ? Ces scientifiques ont-ils lu certains des propos désordonnés tenus par Copilot lorsqu'il s'est écarté du scénario et qu'il s'est mis en colère ? a décidé qu'il devait être vénéré ?
Quant à l'aide à la conception d'ADM ou à l'automatisation de cyberattaques, il serait naïf de croire que la Chine et les puissances occidentales ne sont pas en train d'en faire autant. le fait déjà.
En ce qui concerne la tromperie, certains modèles d'IA, comme Claude 3 Opus, ont déjà été mis en place. ont laissé entendre qu'ils savaient quand ils étaient testés pendant la formation. Si un modèle d'IA cachait son intention de franchir l'une de ces lignes rouges, serions-nous en mesure de le savoir ?
Les représentants du côté e/acc de l'allée de l'apocalypse de l'IA, comme Yann LeCun, scientifique en chef de Meta en matière d'IA, étaient notablement absents des discussions.
L'année dernière, M. LeCun a déclaré que l'idée que l'IA représente une menace existentielle pour l'humanité était "ridiculement absurde" et a approuvé la déclaration de Marc Andreesen selon laquelle "l'IA sauvera le monde" et ne le tuera pas.
Espérons qu'ils aient raison. Car il est peu probable que ces lignes rouges ne soient pas franchies.
