L'OpenAI a constitué une équipe d'experts baptisée "Preparedness", qui vise à atténuer les risques "catastrophiques" associés à l'IA.
Cette décision intervient peu de temps après que l'OpenAI a s'est donné une nouvelle image de marque en tant qu'entreprise centrée sur l'AGI. La nouvelle équipe est chargée d'évaluer les risques liés aux modèles d'IA actuels et futurs.
Risques spécifiés par l'OpenAI la persuasion individualisée (adaptation des messages à ce que le destinataire veut précisément entendre), les menaces pour la cybersécurité, la réplication autonome, l'adaptation (l'IA se modifiant elle-même de manière indépendante) et même les menaces existentielles telles que les attaques chimiques, biologiques et nucléaires.
Les experts sont largement divisés sur la question de savoir si les risques existentiels de l'IA sont liés au battage médiatique ou s'ils sont réalistes, bien que la plupart d'entre eux s'accordent à dire que les problèmes actuels, tels que les "deep fakes" de l'IA, sont déjà extrêmement perturbateurs.
La déclaration de l'OpenAI à ce sujet est claire : "Nous pensons que les modèles d'IA d'avant-garde, qui dépasseront les capacités des modèles existants les plus avancés, ont le potentiel de bénéficier à l'ensemble de l'humanité. Cependant, ils posent également des risques de plus en plus graves."
L'intelligence artificielle générale (AGI) définit des modèles d'IA qui égalent et dépassent la cognition humaine dans de multiples modalités.
Le PDG d'OpenAI, Sam Altman, a fait part de son intention de créer des modèles clairsMais le concept de l'AGI en termes réels reste hautement spéculatif.
Altman récemment admis sur le podcast de Joe Rogan que l'IA ne s'est pas développée comme il l'avait prévu. L'AGI pourrait ne pas apparaître spontanément comme une "singularité", mais lentement au cours de la prochaine décennie.
OpenAI sur la préparation
Dans un article de blog récentLes équipes OpenAI Safety & Alignment et Community ont souligné l'engagement continu de l'organisation à traiter l'ensemble des risques de sécurité associés à l'IA.
Cette décision intervient après que l'OpenAI, ainsi que d'autres laboratoires d'IA de premier plan, volontairement engagé pour garantir la sûreté, la sécurité et la confiance dans le développement de l'IA, dans le cadre d'une collaboration avec la Maison Blanche.
L'équipe de préparation est dirigée par Aleksander Madry, chercheur à l'OpenAI. L'équipe jouera un rôle essentiel dans l'évaluation des capacités, la réalisation d'évaluations et la mise en place d'une équipe d'experts internes pour les modèles d'avant-garde, allant des développements d'un futur proche aux modèles d'IAG.
En outre, l'équipe élaborera et tiendra à jour une "politique de développement tenant compte des risques", décrivant une approche de l'évaluation et du suivi des capacités des modèles d'avant-garde, de la mise en œuvre de mesures de protection et de la mise en place de structures de gouvernance pour la responsabilité et la surveillance.
L'OpenAI lance également le "AI Preparedness Challenge" (défi de la préparation à l'IA) afin de mettre en évidence les domaines où l'IA est utilisée à mauvais escient.
Le défi récompensera les meilleures soumissions avec $25 000 en crédits API, publiera des idées et des entrées nouvelles, et recrutera potentiellement des candidats pour l'équipe Preparedness.
