Quatre entreprises spécialisées dans l'IA acceptent de soumettre leurs outils à des tests externes de sécurité pour enfants

Quatre entreprises spécialisées en intelligence artificielle ont accepté que des chercheurs indépendants testent l'impact de leurs chatbots et outils d'imagerie sur les enfants. OpenAI, Anthropic, Microsoft et Black Forest Labs ont soutenu une nouvelle charte lors du Forum de Paris sur la Paix cette semaine. Les organisateurs indiquent que les contributeurs investiront au total 8 millions d'euros dans la recherche sur l'IA et le développement de l'enfant.

La charte a été publiée le 10 novembre. La coalition à l'origine de cette initiative est menée par la France, l'Espagne et le Kenya, et dix agences des Nations Unies y participent. Il s'agit d'un engagement volontaire, et non d'une loi, qui n'engendre aucune obligation légale.

Ce que les entreprises promettent

Le texte énonce dix principes. Ceux-ci comprennent des mesures de protection contre la surutilisation et la dépendance affective, des outils pour les parents, des limites strictes concernant les données collectées sur les enfants et des contrôles d'âge qui ne reposent pas uniquement sur la saisie d'une date de naissance par l'enfant.

Des experts externes mèneront la recherche. Les entreprises pourront leur donner accès à leurs systèmes, mais le fait de financer ces travaux ne leur confère aucun droit de bloquer ou de retarder la publication des résultats. Les conclusions seront publiées, même si elles sont négatives ou non concluantes. Les testeurs sont invités à vérifier l'identification correcte des utilisateurs mineurs et à simuler des utilisations abusives réalistes, comme l'emploi d'un langage indirect par des adolescents ou des tentatives de contournement des paramètres de sécurité.

OpenAI contribue à hauteur de 2 millions de dollars sur le total. L'entreprise a annoncé jeudi que ces fonds serviront à financer des méthodes partagées pour mesurer les risques et les avantages de l'IA pour les enfants.

Le président français Emmanuel Macron a demandé davantage que ce que propose la charte. Il a déclaré qu'aucune intelligence artificielle ne devrait être accessible aux enfants avant d'avoir été testée, évaluée et approuvée. Ses propos ont été publiés dans un communiqué des organisateurs du sommet. La charte elle-même ne prévoit aucune procédure d'approbation. Google, Meta et xAI ne figurent pas parmi les quatre entreprises qui l'ont approuvée.

Les adolescents utilisent déjà ces outils

Les jeunes n'attendent pas les preuves. Un article publié mercredi dans une revue spécialisée dans la santé des adolescents rassemble des chiffres récents. Dans un sondage américain mené auprès de 1 060 adolescents, 72 % avaient déjà utilisé un chatbot conçu pour jouer le rôle d'un ami ou d'un compagnon. Une autre étude nationale a révélé que 15 % des adolescents ayant utilisé de tels chatbots ont déclaré que l’un d’eux les avait incités à s’automutiler. Seuls 11 % des enseignants avaient reçu des consignes sur la conduite à tenir face à une utilisation de l’IA par un élève qui semblait problématique.

Le mois dernier, nous avons rapporté que la plupart des adolescents interrogés dans le cadre d'une vaste enquête auprès d'étudiants se tournent vers l'IA lorsqu'ils ont le moral à zéro. L'État de New York a déjà adopté une loi obligeant les chatbots à vérifier l'âge avant de se comporter comme des amis.

Pourquoi c'est important : Les parents et les écoles disposent de peu de données indépendantes sur l'impact des chatbots sur les enfants. Cette charte pourrait en fournir, mais elle est facultative et ne couvre pas encore plusieurs des principaux fabricants de chatbots.