Une équipe dirigée par Princeton tire la sonnette d'alarme : L'IA présente des risques pour l'intégrité scientifique

L'IA transforme la recherche scientifique, mais si elle n'est pas correctement encadrée, elle risque de faire plus de mal que de bien.

C'est la conclusion d'une étude de l nouveau document publiée dans Science Advances par une équipe interdisciplinaire de 19 chercheurs dirigée par les informaticiens Arvind Narayanan et Sayash Kapoor de l'université de Princeton. 

L'équipe affirme que l'utilisation abusive de l'apprentissage automatique dans les disciplines scientifiques alimente une crise de la reproductibilité qui menace de saper les fondements mêmes de la science.

"Lorsque nous passons des méthodes statistiques traditionnelles aux méthodes d'apprentissage automatique, les possibilités de se tirer une balle dans le pied sont beaucoup plus nombreuses". a déclaré Narayananqui dirige le centre de Princeton pour la politique en matière de technologies de l'information. 

"Si nous n'intervenons pas pour améliorer nos normes scientifiques et nos normes de rapport lorsqu'il s'agit de science basée sur l'apprentissage automatique, nous risquons de voir non pas une seule discipline, mais de nombreuses disciplines scientifiques différentes redécouvrir ces crises l'une après l'autre."

Selon les auteurs, le problème est que l'apprentissage automatique a été rapidement adopté par presque tous les domaines scientifiques, souvent sans normes claires pour garantir l'intégrité et la reproductibilité des résultats.

Ils soulignent que les tDes milliers d'articles utilisant des méthodes d'apprentissage automatique erronées ont déjà été publiés.

Mais l'équipe de Princeton affirme qu'il est encore temps d'éviter cette crise imminente. Elle a proposé une simple liste de bonnes pratiques qui, si elles sont largement adoptées, pourraient préserver la fiabilité de l'apprentissage automatique dans le domaine scientifique. 

La liste de contrôle, appelée REFORMS (Recommendations for Machine-learning-based Science), comprend 32 questions portant sur huit domaines clés :

1. Objectifs de l'étude: Énoncer clairement l'affirmation scientifique et la manière dont l'apprentissage automatique sera utilisé pour l'étayer. Justifier le choix de l'apprentissage automatique par rapport aux méthodes statistiques traditionnelles.
2. Reproductibilité informatique: Fournir le code, les données, les spécifications de l'environnement informatique, la documentation et le script de reproduction nécessaires pour que d'autres personnes puissent reproduire les résultats de l'étude de manière indépendante.
3. Qualité des données: Documenter les sources de données, le cadre d'échantillonnage, les variables de résultats, la taille de l'échantillon et la quantité de données manquantes. Justifier que l'ensemble de données est approprié et représentatif de la question scientifique.
4. Prétraitement des données: Indiquez comment les données ont été nettoyées, transformées et divisées en ensembles de formation et de test. Justifiez les données qui ont été exclues.
5. Modélisation: Décrire et justifier tous les modèles essayés, la méthode utilisée pour sélectionner le(s) modèle(s) final(aux) et le processus de réglage des hyperparamètres. Comparer les performances avec des lignes de base appropriées.
6. Fuite de données: Vérifier que le processus de modélisation n'a pas utilisé par inadvertance des informations provenant des données de test et que les caractéristiques d'entrée ne donnent pas lieu à des fuites sur le résultat.

"Il s'agit d'un problème systématique avec des solutions systématiques", explique M. Kapoor.

Cependant, les coûts d'une erreur pourrait être immense. Une science erronée pourrait faire échouer des recherches prometteuses, décourager les chercheurs et éroder la confiance du public dans la science. 

Des recherches antérieures, telles que L'enquête à grande échelle de la nature d'universitaires sur l'IA générative en science, a indiqué que l'intégration plus profonde et progressive de l'IA dans les flux de travail scientifiques est inévitable.

Les participants ont souligné de nombreux avantages - 66% ont noté que l'IA permet un traitement plus rapide des données, 58% pensent qu'elle améliore les calculs, et 55% disent qu'elle permet d'économiser du temps et de l'argent. 

Cependant, 53% estiment que les résultats pourraient ne pas être reproductibles, 58% s'inquiètent de la partialité et 55% pensent que l'IA pourrait permettre des recherches frauduleuses. 

Nous en avons eu la preuve lorsque les chercheurs a publié un article avec des diagrammes absurdes générés par l'IA dans la revue Frontiers - un rat avec des testicules géants, rien de moins. C'était comique, mais cela montrait que l'examen par les pairs ne permettait pas toujours de déceler les utilisations manifestement évidentes de l'IA. 

En fin de compte, comme tout outil, l'IA n'est sûre et efficace que dans la mesure où l'homme qui la met en œuvre l'est aussi. Une utilisation imprudente, même si elle n'est pas intentionnelle, peut égarer la science.

Les nouvelles lignes directrices visent à préserver l'honnêteté des "honnêtes gens", selon les termes de M. Narayanan.

Une adoption généralisée par les chercheurs, les évaluateurs et les revues pourrait établir une nouvelle norme d'intégrité scientifique à l'ère de l'IA.

Toutefois, il sera difficile de parvenir à un consensus, d'autant plus que la crise de la reproductibilité passe déjà inaperçue.