Le conseil d'administration de l'OpenAI a annoncé la formation d'un comité de sûreté et de sécurité chargé de formuler des recommandations sur les décisions critiques en matière de sûreté et de sécurité pour tous les projets de l'OpenAI.
Le comité est dirigé par les directeurs Bret Taylor (président), Adam D'Angelo, Nicole Seligman et Sam Altman, PDG d'OpenAI.
Aleksander Madry (responsable de la préparation), Lilian Weng (responsable des systèmes de sécurité), John Schulman (responsable de la science de l'alignement), Matt Knight (responsable de la sécurité) et Jakub Pachocki (scientifique en chef) feront également partie du comité.
L'approche de l'OpenAI en matière de sécurité de l'IA a fait l'objet de critiques externes et internes. Le licenciement d'Altman l'année dernière a été soutenu par Ilya Sutskever, alors membre du conseil d'administration, et par d'autres, apparemment pour des raisons de sécurité.
La semaine dernière, Sutskever et Jan Leike, de l'équipe "superalignment" de l'OpenAI a quitté l'entreprise. M. Leike a spécifiquement mentionné les questions de sécurité comme raison de son départ, déclarant que l'entreprise laissait la sécurité "s'effacer devant les produits brillants".
Hier, M. Leike a annoncé qu'il rejoignait Anthropic pour travailler sur la surveillance et la recherche d'alignement.
Je me réjouis de rejoindre AnthropicAI?ref_src=twsrc%5Etfw”>@AnthropicAI pour poursuivre la mission de superalignement !
Ma nouvelle équipe travaillera sur la surveillance évolutive, la généralisation faible à forte et la recherche d'alignement automatisée.
Si vous souhaitez vous joindre à nous, mes dms sont ouverts.
- Jan Leike (@janleike) 28 mai 2024
Aujourd'hui, M. Altman a non seulement repris ses fonctions de PDG, mais il siège également au comité chargé de mettre en lumière les problèmes de sécurité. Helen Toner, ancien membre du conseil d'administration, explique pourquoi M. Altman a été licencié. On peut donc se demander dans quelle mesure il sera transparent sur les problèmes de sécurité découverts par le comité.
Apparemment, le conseil d'administration d'OpenAI a appris la publication de ChatGPT via Twitter.
❗EXCLUSIVE : "Nous avons appris ChatGPT sur Twitter".
Ce qui s'est VRAIMENT passé à OpenAI? L'ancien membre du conseil d'administration, Helen Toner, rompt le silence en donnant de nouveaux détails choquants sur Sam. AltmanLe licenciement du directeur général de l'entreprise. Écoutez l'histoire exclusive et inédite dans l'émission TED AI Show.
En voici un aperçu : pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28 mai 2024
Le comité de sûreté et de sécurité utilisera les 90 prochains jours pour évaluer et développer davantage les processus et les garanties de l'OpenAI.
Les recommandations seront soumises à l'approbation du conseil d'administration d'OpenAI, qui s'est engagé à publier les recommandations de sécurité adoptées.
Cette demande de garde-fous supplémentaires intervient alors que l'OpenAI déclare avoir commencé à former son prochain modèle frontière qui, selon elle, "nous amènera au niveau suivant de capacités sur notre chemin vers l'AGI".
Aucune date de sortie n'a été communiquée pour le nouveau modèle, mais la formation à elle seule prendra probablement des semaines, voire des mois.
Dans une mise à jour de son approche de la sécurité publiée après le sommet de Séoul sur l'IA, l'OpenAI a déclaré : "Nous ne publierons pas un nouveau modèle s'il franchit un seuil de risque "moyen" dans notre cadre de préparation, jusqu'à ce que nous mettions en œuvre des interventions de sécurité suffisantes pour ramener le score après atténuation à "moyen"".
Elle a indiqué que plus de 70 experts externes ont été impliqués dans le red teaming GPT-4o avant sa sortie.
Avec 90 jours avant que le comité ne présente ses conclusions au conseil d'administration, une formation qui n'a commencé que récemment et un engagement à mettre en place une équipe d'experts, il semble que nous devions attendre longtemps avant d'obtenir enfin le GPT-5.
Ou veulent-ils dire qu'ils viennent de commencer la formation GPT-6 ?
