L'IA sème la zizanie dans le processus d'évaluation par les pairs en sciences
L’édition scientifique face à une question de plus en plus provocatrice : que faire de l’IA dans l’évaluation par les pairs ?
L’écologiste Timothée Poisot a récemment reçu un compte rendu manifestement généré par ChatGPT. Le document comportait la phrase suivante, révélatrice : “ Voici une version révisée de votre compte rendu, plus claire et mieux structurée. ”
Poisot était furieux. “ Je soumets un manuscrit à l’évaluation par les pairs dans l’espoir d’obtenir des commentaires ”, s’est-il indigné dans un article de blog. “ Si cette condition n’est pas remplie, tout le principe de l’évaluation par les pairs s’effondre. ”
L'expérience de Poisot n'est pas un cas isolé. étude récente Une étude publiée dans Nature a révélé que jusqu'à 17% des évaluations d'articles de conférences sur l'IA en 2023-24 présentaient des signes de modification substantielle par les modèles de langage.
Et dans un autre Enquête sur la nature, Près d'un chercheur sur cinq a admis utiliser l'IA pour accélérer et faciliter le processus d'évaluation par les pairs.
Nous avons également constaté quelques cas absurdes de ce qui se produit lorsque du contenu généré par l'IA échappe au processus d'évaluation par les pairs, conçu pour garantir la qualité de la recherche.
En 2024, un article publié dans Frontiers Une revue, qui explorait des voies de signalisation cellulaire très complexes, contenait des diagrammes bizarres et absurdes générés par l'outil artistique d'IA Midjourney.
Une image représentait un rat difforme, tandis que d'autres n'étaient que des tourbillons et des gribouillis aléatoires, remplis de texte incompréhensible.
Sur Twitter, les internautes étaient consternés qu'une figure aussi manifestement erronée ait pu passer l'évaluation par les pairs. “ Comment la figure 1 a-t-elle pu être validée par les pairs ?! ” s'est interrogé l'un d'eux.
En substance, il existe deux risques : a) l'utilisation de l'IA par les pairs pour examiner le contenu, et b) le contenu généré par l'IA qui passe à travers tout le processus d'évaluation par les pairs.
Les éditeurs réagissent à ces problématiques. Elsevier a purement et simplement interdit l'utilisation de l'IA générative dans l'évaluation par les pairs. Wiley et Springer Nature autorisent une “ utilisation limitée ” sous réserve de divulgation. Quelques institutions, comme l'American Institute of Physics, testent avec prudence des outils d'IA pour compléter – et non remplacer – l'avis humain.
Cependant, l'attrait de l'IA générale est fort, et certains perçoivent ses avantages lorsqu'elle est utilisée judicieusement. Une étude de Stanford a révélé que 401 000 scientifiques estimaient que les évaluations de leurs travaux par ChatGPT pouvaient être aussi utiles que celles réalisées par des humains, et même 201 000 plus utiles.
Le monde universitaire s'est articulé autour de l'intervention humaine pendant un millénaire, la résistance est donc forte. “ Ne pas lutter contre les évaluations automatisées revient à baisser les bras ”, a écrit Poisot.
L'intérêt même de l'évaluation par les pairs, selon de nombreux experts, réside dans le retour d'information de pairs – et non dans une validation algorithmique automatique.
