L'OpenAI a récemment révélé que son conseil d'administration avait le pouvoir d'annuler les décisions prises par le PDG concernant la diffusion de nouveaux modèles d'IA, même si ceux-ci ont été jugés sûrs par la direction de l'entreprise.
Ces informations ont été détaillées dans un ensemble de lignes directrices dévoilées lundi, décrivant la stratégie de l'entreprise pour faire face aux risques extrêmes potentiels posés par ses systèmes d'IA les plus avancés.
Si l'équipe dirigeante peut décider initialement de la mise en place d'un nouveau système d'IA, le conseil d'administration conserve le droit de revenir sur ces décisions.
Sam Altman, PDG d'OpenAI, a été démis de ses fonctions avant d'être spectaculairement réintégré, ce qui met en lumière une curieuse dynamique de pouvoir entre les directeurs et les cadres de l'entreprise.
Dans la foulée, de nombreuses personnes ont émis l'hypothèse que M. Altman n'avait pas accordé une attention suffisante à la sécurité des modèles, qu'il avait été "emporté par son travail", pour ainsi dire. Des rapports ultérieurs ont jeté le doute sur cette hypothèse, notamment celui de Brad Smith, président de Microsoft, qui a déclaré qu'il lui semblait peu probable que la sécurité était le motif principal.
Il y avait aussi le fait qu'OpenAI avait reçu une énorme évaluation et que ses employés voulaient encaisser leurs options d'achat d'actions.
Business Insider a allégué que les employés d'OpenAI ont utilisé leur lettre ouverte déclarant qu'ils quitteraient l'entreprise si Altman n'était pas réintégré comme monnaie d'échange. Un employé a même déclaré qu'il était un mauvais PDG, bien que ces rapports ne soient pas confirmés.
L'OpenAI a maintenant pris des mesures pour apaiser les craintes de ne pas prendre l'IA en toute sécurité, en publiant tout d'abord les résultats de son nouveau projet ".Expérience "superalignement et en augmentant les "pouvoirs" de leur équipe de "préparation".
L'équipe d'OpenAI équipe de préparationdirigée par Aleksander Madry, actuellement en congé du MIT, évalue en permanence les systèmes d'IA dans diverses catégories de risques, notamment la cybersécurité et les menaces liées aux domaines chimique, nucléaire et biologique.
Cette équipe a pour mission d'identifier et d'atténuer tout danger important lié à la technologie. Selon les lignes directrices, les risques qualifiés de "catastrophiques" peuvent entraîner des dommages économiques substantiels ou de graves préjudices pour de nombreuses personnes.
M. Madry a expliqué le processus en déclarant : "L'IA n'est pas quelque chose qui nous arrive par hasard et qui peut être bon ou mauvais. C'est quelque chose que nous façonnons". Il a également exprimé l'espoir que d'autres entreprises adoptent les lignes directrices de l'OpenAI en matière d'évaluation des risques.
Son équipe, qui a été constituée en octobre dans le cadre de trois groupes distincts chargés de superviser la sécurité de l'IA au sein de l'OpenAI, évaluera les modèles d'IA non diffusés et classera les risques perçus comme étant "faibles", "moyens", "élevés" ou "critiques". Seuls les modèles classés "moyens" ou "faibles" pourront être diffusés.
Nous systématisons notre réflexion sur la sécurité grâce à notre cadre de préparation, un document évolutif (actuellement en version bêta) qui détaille les investissements techniques et opérationnels que nous adoptons pour assurer la sécurité du développement de nos modèles d'avant-garde.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18 décembre 2023
À propos de ses nouvelles politiques sur le X, OpenAI a déclaré : "Nous systématisons notre réflexion sur la sécurité avec notre Preparedness Framework, un document évolutif (actuellement en version bêta) qui détaille les investissements techniques et opérationnels que nous adoptons pour guider la sécurité du développement de nos modèles d'avant-garde."
Outre ces mesures, OpenAI dispose d'un groupe consultatif interne sur la sécurité qui examine les conclusions de l'équipe de Madry et formule des recommandations à l'intention d'Altman et du conseil d'administration.
