L'OpenAI a annoncé son intention d'intensifier la recherche sur la "superintelligence", une forme d'IA dont les capacités dépassent celles de l'intelligence humaine.
Tandis que Superintelligence de l'IA peut sembler une perspective lointaine, OpenAI pense que son développement pourrait avoir lieu d'ici quelques années.
OpenAI déclare : "Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée." Voilà une déclaration bien inquiétante de la part du leader mondial de l'IA.
Pour atténuer les risques liés à l'IA superintelligente, l'OpenAI prévoit d'introduire de nouvelles structures de gouvernance et de consacrer des ressources à l'alignement de la superintelligence, qui vise à aligner les IA hautement intelligentes sur les principes et les valeurs humaines. Le délai prévu pour y parvenir est de quatre ans.
Dans un billet de blogL'OpenAI a identifié trois objectifs principaux : le développement de méthodes d'entraînement évolutives, la validation du modèle résultant et le test approfondi du processus d'alignement. Il s'agit notamment d'automatiser le processus de découverte des comportements problématiques dans les grands modèles. Pour ce faire, l'OpenAI propose de développer un "chercheur en alignement automatisé" spécialisé - une IA chargée d'aligner l'IA.
OpenAI mobilise également une équipe de chercheurs et d'ingénieurs en apprentissage automatique (humain) de haut niveau pour s'atteler à cette tâche herculéenne. Pour l'aider, l'entreprise engage 20% de ses ressources informatiques acquises au cours des quatre prochaines années pour s'attaquer à l'alignement de la superintelligence.
L'équipe "superalignement" nouvellement créée se chargera de cette tâche, sous la direction du cofondateur et scientifique en chef de l'OpenAI, Ilya Sutskever, et du responsable de l'alignement, Jan Leike.
En outre, l'OpenAI prévoit de partager les résultats de ces travaux avec d'autres. Elle a également souligné qu'elle poursuivrait ses travaux sur l'amélioration de la sécurité des modèles actuels, comme ChatGPT, et sur l'atténuation d'autres risques liés à l'IA, tels que l'utilisation abusive, les perturbations économiques et la désinformation.
Le billet de blog sollicite également l'intérêt pour les postes suivants ingénieur de recherche, chercheuret responsable de la recherche les postes. Le salaire le plus bas est de $245 000 par an, avec une fourchette allant jusqu'à $450 000.
Les techniques de l'OpenAI pour l'alignement de l'IA
Dans un précédent article de blog sur la superintelligence, l'OpenAI décrit deux grandes techniques d'alignement :
1 : Formation de l'IA avec le retour d'information de l'homme : Cette approche consiste à perfectionner l'IA en utilisant les réponses et les instructions des humains. Par exemple, une IA est entraînée à fournir des réponses qui s'alignent à la fois sur les commandes directes et sur les intentions plus subtiles. L'IA apprend à partir d'instructions explicites et de signaux plus implicites, tels que la garantie de réponses véridiques et sûres. Cependant, une approche centrée sur l'homme peut s'avérer difficile à mettre en œuvre avec des capacités complexes, et elle est laborieuse et prend du temps.
2 : Modèles de formation pour aider à l'évaluation humaine : La seconde approche reconnaît qu'à mesure que l'IA devient plus sophistiquée, elle peut accomplir des tâches qui sont difficiles à évaluer pour les humains. Dans cette approche, l'IA est donc utilisée pour effectuer des tâches et pour évaluer la qualité de ces tâches. Par exemple, une IA pourrait être utilisée pour vérifier l'exactitude des informations, résumer de longs documents pour faciliter l'évaluation humaine, ou même critiquer son propre travail.
L'objectif ultime est de développer des systèmes d'IA capables d'aider efficacement les humains à évaluer des tâches complexes, à mesure que l'intelligence de l'IA dépasse les limites de la cognition humaine.
OpenAI estime que l'alignement de la superintelligence est "traçable". Bien que la perspective d'une IA superintelligente semble à des années-lumière, il serait imprudent de penser qu'OpenAI se contente d'être optimiste.
