Ilya Sutskever et Jan Leike de OpenAIL'équipe "superalignement" de l'entreprise a démissionné cette semaine, jetant une ombre sur l'engagement de l'entreprise en faveur d'un développement responsable de l'IA sous l'égide du PDG Sam Altman.
Leike, en particulier, n'a pas mâché ses mots. "Au cours des dernières années, la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants", a-t-il déclaré en guise de conclusion, confirmant ainsi le malaise de ceux qui observent la situation. OpenAILa poursuite de l'IA avancée par l'UE.
Hier, c'était mon dernier jour en tant que responsable de l'alignement, responsable du super-alignement et cadre supérieur. OpenAI?ref_src=twsrctfw">@@OpenAI.
- Jan Leike (@janleike) 17 mai 2024
Sutskever et Leike viennent s'ajouter à une liste de plus en plus longue de licenciements de haut niveau au sein de l'Union européenne. OpenAI.
Depuis novembre 2023, date à laquelle Altman a survécu de justesse à une tentative de coup d'État dans la salle du conseil d'administration, au moins cinq autres membres clés de l'équipe de superalignement ont démissionné ou ont été poussés vers la sortie :
- Daniel Kokotajlo, qui a rejoint OpenAI en 2022, dans l'espoir d'orienter l'entreprise vers le développement responsable de l'intelligence artificielle générale (AGI) - une IA hautement performante qui atteint ou dépasse notre propre cognition - a démissionné en avril 2024 après avoir perdu confiance dans la capacité de la direction à "gérer l'AGI de manière responsable".
- Leopold Aschenbrenner et Pavel Izmailov, membres de l'équipe chargée du superalignement, auraient été licenciés le mois dernier pour avoir "divulgué" des informations. OpenAI n'a fourni aucune preuve d'actes répréhensibles. Les initiés supposent qu'ils ont été ciblés parce qu'ils étaient des alliés de Sutskever.
- Cullen O'Keefe, un autre chercheur en matière de sécurité, est parti en avril.
- William Saunders a démissionné en février mais il est apparemment lié par un accord de non-dénigrement qui l'empêche d'évoquer ses raisons.
Amid these developments, OpenAI aurait menacé de priver ses employés de leurs droits de participation s'ils critiquaient l'entreprise ou la société. Altman lui-même, selon Vox.
C'est pourquoi il est difficile de comprendre réellement la question à l'étude. OpenAI, but Les faits suggèrent que les initiatives en matière de sécurité et d'alignement échouent, si tant est qu'elles aient jamais été sincères.
OpenAIL'intrigue controversée s'épaissit
OpenAI, fondée en 2015 par Elon Musk et Sam AltmanIl s'est engagé à fond en faveur de la recherche sur les logiciels libres et du développement responsable de l'IA.
Cependant, alors que la vision de l'entreprise s'est élargie ces dernières années, elle s'est retrouvée en retrait derrière des portes closes. En 2019, OpenAI est officiellement passé d'une d'un laboratoire de recherche à but non lucratif à une entité à but lucratif plafonnéLa Commission européenne a également lancé un appel d'offres pour la mise en place d'un système de gestion de l'information, alimentant ainsi les craintes d'un passage de la commercialisation à la transparence.
Depuis lors, OpenAI a protégé ses recherches et ses modèles par des accords de non-divulgation à toute épreuve et par la menace de poursuites judiciaires à l'encontre de tout employé qui oserait s'exprimer.
D'autres controverses importantes ont émaillé la courte histoire de la startup :
- En 2019, OpenAI a étonné la communauté de l'IA en passant du statut de laboratoire de recherche à but non lucratif à celui d'entreprise à but lucratif plafonné, s'éloignant ainsi résolument de ses principes fondateurs.
- L'année dernière, des rapports ont fait état de réunions à huis clos entre l'Union européenne et l'Union européenne. OpenAI et les organisations militaires et de défense.
- AltmanSes tweets erratiques ont suscité des interrogations, qu'il s'agisse de rêveries sur une gouvernance mondiale alimentée par l'IA ou d'admettre un risque existentiel d'une manière qui le présente comme le pilote d'un navire qu'il ne peut déjà plus diriger.
- Le coup le plus dur porté à l AltmanSutskever a lui-même fait partie d'un groupe d'experts qui s'est penché sur la question. coup d'État raté dans une salle de réunion en novembre 2023 qui visait à évincer le PDG. Altman a réussi à s'accrocher au pouvoir, montrant qu'il est bel et bien lié à l'entreprise d'une manière telle qu'il est difficile de s'en défaire, même par le conseil d'administration lui-même.
Les drames dans les conseils d'administration et les crises ne sont pas rares dans la Silicon Valley, OpenAIDe leur propre aveu, les travaux de la Commission pourraient être d'une importance capitale pour la société mondiale.
Le public, les régulateurs et les gouvernements veulent une gouvernance cohérente et sans controverse au sein de l'Union européenne. OpenAImais l'histoire courte et mouvementée de la startup ne laisse rien présager de tel.
OpenAI devient l'antihéros de l'IA générative
Tandis que les diagnostics de salon et l'assassinat de personnages Altman sont irresponsables, ses antécédents de manipulation et de poursuite de visions personnelles au détriment de collaborateurs et de la confiance du public soulèvent des questions gênantes.
En conséquence, les conversations autour de la Altman et son entreprise sont devenus de plus en plus virulents sur X, Reddit et le forum Y Combinator.
Si les patrons de l'industrie technologique sont souvent polarisés, ils gagnent généralement des adeptes, comme le prouve Elon Musk, qui fait partie des types les plus provocateurs. D'autres, comme Microsoft CEO Satya NadellaLes entreprises de l'Union européenne se distinguent par leur stratégie d'entreprise et leur style de leadership contrôlé et mature.
Reconnaissons également que d'autres startups spécialisées dans l'IA, telles que AnthropicLes chercheurs de l'Institut de recherche sur l'intelligence artificielle (IRA), en dépit de leurs grandes réalisations dans le secteur de l'IA générative, parviennent à se faire discrets. OpenAIEn revanche, elle conserve une gravité intense et controversée qui la maintient dans l'œil du public, ce qui ne profite ni à son image, ni à celle de l'IA générative dans son ensemble.
En fin de compte, il faut dire les choses telles qu'elles sont. OpenAILa tendance au secret de l'entreprise a contribué à donner l'impression qu'elle n'est plus un acteur de bonne foi dans le domaine de l'IA.
IIl laisse le public se demander si l'IA générative ne risque pas d'éroder la société plutôt que de l'aider. Elle envoie le message que la poursuite de l'AGI est une affaire à huis clos, un jeu auquel se livrent les élites technologiques sans se soucier des implications plus larges.
La licence morale de l'industrie technologique
La licence morale est depuis longtemps un fléau pour l'industrie technologique, où la noblesse proposée par la mission actuelle de l'entreprise est utilisée pour justifier des compromis éthiques.
Du mantra "move fast and break things" de Facebook au slogan "don't be evil" de Google, les géants de la technologie ont à maintes reprises invoqué le langage du progrès et du bien social tout en s'engageant dans des pratiques douteuses.
OpenAILa mission de l'AGI, qui consiste à rechercher et à développer l'AGI "pour le bénéfice de toute l'humanité", invite peut-être à la forme ultime de licence morale.
La promesse d'une technologie qui pourrait résoudre les plus grands défis du monde et ouvrir une ère de prospérité sans précédent est séduisante. Elle fait appel à nos espoirs et à nos rêves les plus profonds, à notre désir de laisser un impact positif et durable sur le monde.
Mais c'est là que réside le danger. Lorsque les enjeux sont si élevés et les récompenses potentielles si importantes, il devient trop facile de justifier les compromis, de contourner les limites éthiques et de rejeter les critiques au nom d'un "plus grand bien" qu'aucun individu ou petit groupe ne peut définir, même avec tous les financements et toutes les recherches du monde.
C'est le piège qui OpenAI risque de tomber. En se positionnant comme le créateur d'une technologie qui bénéficiera à l'ensemble de l'humanité, l'entreprise s'est essentiellement octroyé un chèque en blanc pour poursuivre sa vision par tous les moyens nécessaires.
Alors, que pouvons-nous faire ? Eh bien, les paroles ne coûtent pas cher. Une gouvernance solide, un dialogue progressif continu et une pression soutenue pour améliorer les pratiques du secteur sont essentiels.
En ce qui concerne les OpenAI La pression de l'opinion publique et la critique des médias à l'égard de la OpenAI se développent, AltmanLa position de l'Union européenne pourrait devenir moins tenable.
S'il devait partir ou être évincé, il faudrait espérer que quelque chose de positif vienne combler l'immense vide qu'il laisserait derrière lui.
