Un groupe d'anciens et d'actuels employés d'OpenAI et de Google interpellent les entreprises du secteur de l'IA sur ce qu'ils considèrent comme une dangereuse culture du secret autour des risques liés à l'IA.
La lettre intitulée "Un droit d'alerte sur l'intelligence artificielle avancée" indique que les entreprises d'IA ont de fortes incitations financières à éviter une surveillance efficace des risques potentiels de l'IA.
En plus de faire preuve d'insouciance en privilégiant les objectifs financiers au détriment de la sécurité, la lettre indique que les entreprises utilisent des accords de confidentialité punitifs pour décourager activement les employés de faire part de leurs préoccupations.
Les signataires sont tous d'anciens employés d'OpenAI et de Google, Neel Nanda étant le seul à travailler encore chez Google. La lettre a également été approuvée par Yoshua Bengio, Geoffrey Hinton et Stuart Russell, éminents spécialistes de l'IA.
Preuve de l'inquiétude suscitée par la dénonciation de leurs anciens employeurs, six des signataires n'ont pas souhaité divulguer leur nom dans la lettre.
Les anciens chercheurs d'OpenAI, Daniel Kokotajlo et William Saunders, qui ont également signé la lettre, ont quitté l'entreprise au début de l'année.
Kokotajlo faisait partie de l'équipe de gouvernance, et Saunders travaillait dans l'équipe Superalignment d'OpenAI, qui a été dissoute le mois dernier quand Ilya Sutskever et Jan Leike ont également quitté le groupe pour des raisons de sécurité..
M. Kokotajlo a expliqué la raison de son départ sur un forum en disant qu'il ne pensait pas que l'OpenAI "se comporterait de manière responsable à l'époque de l'AGI".
Un appel à l'action
La lettre appelle à un plus grand engagement de la part des entreprises d'IA en l'absence de réglementation régissant les risques de l'IA dont le public n'a pas connaissance.
La lettre précise que "les protections ordinaires des dénonciateurs sont insuffisantes parce qu'elles se concentrent sur les activités illégales, alors que de nombreux risques qui nous préoccupent ne sont pas encore réglementés".
La lettre demande aux entreprises du secteur de l'IA de s'engager à respecter quatre principes. En bref, ils souhaitent que les entreprises
- Ne pas conclure ou appliquer des accords qui interdisent de critiquer l'entreprise pour des questions de sécurité ou de retenir les avantages financiers dus à l'employé. (ahem, OpenAI)
- Faciliter la mise en place d'une procédure anonyme permettant aux employés de faire part de leurs préoccupations en matière de risques au conseil d'administration de l'entreprise ou à d'autres organismes de réglementation.
- Soutenir une culture de critique ouverte permettant aux employés de rendre publiques les préoccupations liées aux risques sans révéler la propriété intellectuelle.
- Ne pas exercer de représailles à l'encontre des employés actuels et anciens qui partagent publiquement des informations confidentielles liées à des risques après l'échec d'autres processus.
Plusieurs des noms figurant sur la liste des signataires se considèrent comme des altruistes efficaces. Il ressort clairement de leurs messages et de leurs commentaires que des personnes comme Daniel Kokotajlo (Less Wrong) et William Saunders (AI Alignment Forum) pensent que les choses pourraient très mal se terminer si les risques liés à l'IA ne sont pas gérés.
Mais il ne s'agit pas de trolls sur un forum qui lancent des appels à partir de la ligne de touche. Il s'agit d'intellectuels de premier plan que des entreprises comme OpenAI et Google ont jugé bon d'employer pour créer la technologie qu'ils redoutent aujourd'hui.
Et maintenant, ils disent : "Nous avons vu des choses qui nous font peur. Nous voulons avertir les gens, mais nous n'en avons pas le droit".
Vous pouvez lire le lettre ici.
