Une faille de sécurité à l'OpenAI a révélé que les entreprises d'IA sont des cibles lucratives pour les pirates informatiques.
La violation, qui s'est produite au début de l'année dernière et a été récemment rapporté par le New York Times, un pirate informatique a accédé aux systèmes de messagerie interne de l'entreprise.
Le pirate a obtenu des détails sur les discussions des employés concernant les dernières technologies d'OpenAI. Voici ce que nous savons :
- La violation s'est produite au début de l'année dernière et un pirate informatique a accédé aux systèmes de messagerie internes d'OpenAI.
- Le pirate s'est infiltré dans un forum en ligne où les employés d'OpenAI discutaient ouvertement des dernières technologies et développements de l'entreprise en matière d'IA.
- La faille a révélé des discussions internes entre chercheurs et employés, mais n'a pas compromis le code des systèmes d'IA d'OpenAI ni les données des clients.
- Les dirigeants d'OpenAI ont révélé l'incident aux employés lors d'une réunion générale dans les bureaux de l'entreprise à San Francisco en avril 2023 et en ont informé le conseil d'administration.
- L'entreprise a choisi de ne pas divulguer publiquement la faille, estimant qu'aucune information concernant des clients ou des partenaires n'avait été dérobée et que le pirate était une personne privée n'ayant aucun lien connu avec un gouvernement étranger.
- Leopold Aschenbrenner, ancien responsable du programme technique d'OpenAI, a envoyé une note au conseil d'administration de l'entreprise à la suite de la violation, arguant qu'OpenAI ne faisait pas assez pour empêcher les gouvernements étrangers de voler ses secrets.
- M. Aschenbrenner, qui affirme avoir été licencié pour avoir divulgué des informations à l'extérieur de l'entreprise, a déclaré dans un récent podcast que les mesures de sécurité d'OpenAI étaient insuffisantes pour se protéger contre le vol de secrets essentiels par des acteurs étrangers.
- OpenAI a contesté la description faite par M. Aschenbrenner de l'incident et de ses mesures de sécurité, affirmant que ses préoccupations n'ont pas conduit à sa séparation de l'entreprise.
Qui est Leopold Aschenbrenner ?
Leopold Aschenbrenner est un ancien chercheur en sécurité d'OpenAI, membre de l'équipe de superalignement de l'entreprise.
L'équipe "superalignement" s'intéresse à la sécurité à long terme de l'intelligence artificielle générale (AGI) avancée, s'est récemment effondré lorsque plusieurs chercheurs de renom ont quitté l'entreprise.
Parmi eux, le cofondateur d'OpenAI, Ilya Sutskever, qui a récemment créé une nouvelle société nommé Safe Superintelligence Inc.
L'année dernière, M. Aschenbrenner a rédigé un mémo interne dans lequel il fait part de ses préoccupations concernant les pratiques d'OpenAI en matière de sécurité, qu'il qualifie de "manifestement insuffisantes".
Il a fait circuler le mémo parmi des experts réputés en dehors de l'entreprise. Quelques semaines plus tard, OpenAI a été victime d'une violation de données, et il a donc partagé une version mise à jour avec les membres du conseil d'administration. Peu après, il a été licencié d'OpenAI.
"Les questions portaient sur mon point de vue sur les progrès de l'IA, sur l'AGI, sur le niveau de sécurité approprié pour l'AGI, sur la question de savoir si le gouvernement devrait être impliqué dans l'AGI, si moi et l'équipe de superalignement étions loyaux envers l'entreprise, et sur ce que je faisais pendant les réunions du conseil d'administration d'OpenAI", a révélé M. Aschenbrenner lors d'un podcast.
"Autre exemple : lorsque je soulevais des questions de sécurité, ils me disaient que la sécurité était notre priorité absolue", a déclaré M. Aschenbrenner. "Invariablement, lorsqu'il s'agissait d'investir des ressources importantes ou de faire des compromis pour prendre des mesures de base, la sécurité n'était pas prioritaire."
OpenAI a contesté la description faite par M. Aschenbrenner de l'incident et de ses mesures de sécurité. "Nous apprécions les préoccupations que Leopold a soulevées pendant qu'il travaillait pour OpenAI, et cela n'a pas conduit à sa séparation", a répondu Liz Bourgeois, porte-parole d'OpenAI.
"Bien que nous partagions son engagement à construire un I.G.A. sûr, nous ne sommes pas d'accord avec les nombreuses affirmations qu'il a faites depuis lors au sujet de notre travail".
Les entreprises spécialisées dans l'IA deviennent la cible de pirates informatiques
Les entreprises spécialisées dans l'IA constituent sans aucun doute une cible attrayante pour les pirates informatiques en raison du volume colossal de données précieuses dont elles détiennent les clés.
Ces données se répartissent en trois catégories principales : les ensembles de données de formation de haute qualité, les enregistrements d'interaction avec les utilisateurs et les informations sensibles sur les clients.
Il suffit de considérer la valeur de n'importe laquelle de ces catégories.
Tout d'abord, les données de formation sont le nouveau pétrole. Bien qu'il soit relativement facile d'extraire certaines données de bases de données publiques telles que le LAIONElle doit être vérifiée, nettoyée et augmentée.
Il s'agit d'une activité à forte intensité de main-d'œuvre. Les entreprises spécialisées dans l'IA ont de gros contrats avec des sociétés de données qui fournissent ces services en Afrique, en Asie et en Amérique du Sud.
Ensuite, il faut prendre en compte les données que les entreprises d'IA collectent auprès des utilisateurs.
Ces informations sont particulièrement précieuses pour les pirates informatiques si l'on considère les informations financières, le code et d'autres formes de propriété intellectuelle que les entreprises peuvent partager avec les outils d'IA.
Un récent rapport sur la cybersécurité a constaté que plus de la moitié des interactions des personnes avec des chatbots comme ChatGPT comprennent des informations sensibles et personnellement identifiables (PII). Une autre étude a révélé que 11% de salariés partager des informations commerciales confidentielles avec ChatGPT.
De plus, comme de plus en plus d'entreprises intègrent des outils d'IA dans leurs opérations, elles doivent souvent accorder l'accès à leurs bases de données internes, ce qui accroît encore les risques de sécurité.
En somme, il s'agit d'un fardeau énorme pour les entreprises spécialisées dans l'IA. Et comme la course aux armements dans le domaine de l'IA s'intensifie, et des pays comme la Chine comblent rapidement leur retard sur les États-Unis, la surface de la menace ne fera que s'étendre.
Au-delà de ces murmures émanant d'OpenAI, nous n'avons pas encore vu de preuves de brèches importantes, mais ce n'est probablement qu'une question de temps.
