Un nouveau modèle d'apprentissage automatique surpasse les modèles de détection de texte de l'IA pour les articles dans le domaine de la chimie.
L'étude, publiée dans Rapports sur les cellules Sciences physiquesdécrit un classificateur de texte d'IA qui surpasse les performances de deux autres systèmes de détection d'IA populaires, dont ZeroGPT.
Le modèle examine 20 caractéristiques stylistiques de l'écriture, telles que la variation de la longueur des phrases et l'utilisation spécifique des mots et de la ponctuation, afin d'évaluer si un texte a été composé par un universitaire ou par un ChatGPT.
Les chercheurs ont entraîné le modèle sur les introductions de 100 articles publiés dans dix revues de chimie de l'American Chemical Society (ACS). Ils ont ensuite demandé à ChatGPT-3.5 de rédiger 200 introductions dans un style conforme à celui des revues de l'ACS, en fournissant les titres pour la moitié d'entre elles et les résumés pour l'autre moitié.
Lors de l'évaluation, le détecteur a parfaitement identifié 100% des introductions dont l'auteur est ChatGPT en se basant sur les titres. Lors de l'analyse des introductions générées à partir des résumés, la précision a été légèrement réduite à 98%.
L'efficacité du détecteur est restée constante, même avec des textes issus du modèle GPT-4. Il a été comparé à ZeroGPT et à un outil de classification de texte d'OpenAI, tous deux affichant des taux de précision nettement inférieurs.
La coauteure de l'étude, Heather Desaire, chimiste à l'université du Kansas à Lawrence, a souligné le caractère unique de leur outil : "La plupart des spécialistes de l'analyse de texte veulent un détecteur très général qui fonctionne sur n'importe quoi. Nous visions vraiment la précision en créant un outil qui se concentre sur un type de papier particulier".
Bien que l'outil ait montré sa force dans différents styles de journaux et d'invites, il est hautement spécialisé pour les articles scientifiques et s'est avéré moins efficace avec les documents provenant de journaux universitaires.
L'IA n'ayant été appliquée qu'aux introductions et aux résumés, elle n'aurait pas pu fonctionner efficacement sur un article entier.
En savoir plus sur l'étude
Compte tenu des piètres performances des détecteurs d'écriture IA existants et de la controverse qu'ils suscitent, tout modèle présentant un taux de précision proche de 100% est vraiment très intéressant.
- Ce détecteur de texte IA a été conçu pour les articles de revues scientifiques, en particulier les revues de chimie, et a fait preuve d'une remarquable précision dans la distinction entre les textes générés par l'homme et ceux générés par l'IA, y compris le texte GPT-4.
- Le détecteur, qui utilise un algorithme d'apprentissage automatique XGBoost basé sur 20 caractéristiques textuelles distinctes, surpasse les outils actuels de détection de l'IA et affiche un taux de précision de 98%-100%.
- L'outil a réussi à identifier le texte généré par l'IA dans divers scénarios de test, même avec des invites conçues pour dissimuler l'utilisation de l'IA, ce qui témoigne de sa robustesse face à différents styles d'écriture et à différentes complexités.
Cependant, avec un ensemble de données de formation aussi restreint, on peut dire que cette approche est vulnérable au surajustement, ce qui signifie que le modèle peut fonctionner exceptionnellement bien pour les données utilisées, mais présenter des performances médiocres en dehors de celles-ci.
De plus, il peut y avoir un biais implicite pour étiqueter le texte comme étant écrit par un humain dans les cas ambigus, étant donné que le détecteur est développé pour détecter les textes générés par l'IA, ce qui peut donner la priorité aux faux négatifs par rapport aux faux positifs.
