Un nuovo modello di apprendimento automatico batte i modelli di rilevamento del testo dell'AI per i documenti nel campo della chimica.
Lo studio, pubblicato in Rapporti sulle cellule Scienze fisichedescrive un classificatore di testi AI che supera le prestazioni di altri due popolari sistemi di rilevamento AI, tra cui ZeroGPT.
Il modello esamina 20 caratteristiche stilistiche della scrittura, come la variazione della lunghezza delle frasi e l'uso specifico di parole e punteggiatura, per valutare se un pezzo è stato composto da un accademico o da un ChatGPT.
I ricercatori hanno addestrato il modello sulle introduzioni di 100 articoli pubblicati su dieci riviste di chimica dell'American Chemical Society (ACS). I ricercatori hanno poi chiesto a ChatGPT-3.5 di creare 200 introduzioni in uno stile coerente con le riviste ACS, fornendo i titoli per la metà e gli abstract per l'altra metà.
Alla valutazione, il rilevatore ha identificato senza problemi il 100% delle introduzioni scritte da ChatGPT sulla base dei titoli. Analizzando le introduzioni generate dagli abstract, l'accuratezza si è leggermente ridotta a 98%.
L'efficienza del rilevatore è risultata coerente anche con il testo del modello GPT-4. È stato confrontato con ZeroGPT e con uno strumento di classificazione del testo di OpenAI, che hanno entrambi dimostrato tassi di accuratezza significativamente inferiori.
La coautrice dello studio, Heather Desaire, chimica dell'Università del Kansas a Lawrence, ha sottolineato l'unicità del loro strumento: "La maggior parte del campo dell'analisi del testo vuole un rilevatore generale che funzioni su qualsiasi cosa. Noi abbiamo puntato sulla precisione realizzando uno strumento che si concentra su un particolare tipo di carta".
Sebbene lo strumento abbia dimostrato la sua forza in vari stili di riviste e richieste, è altamente specializzato per gli articoli scientifici ed è stato meno efficace con il materiale proveniente da giornali universitari.
Poiché l'IA è stata applicata solo alle introduzioni e agli abstract, non avrebbe funzionato efficacemente su un intero articolo.
Per saperne di più sullo studio
Viste le scarse prestazioni dei rilevatori di scrittura AI esistenti e le polemiche che stanno suscitando, qualsiasi modello con un tasso di accuratezza vicino a 00% è davvero molto interessante.
- Questo rilevatore di testo AI è stato progettato per articoli di riviste scientifiche, in particolare di chimica, e ha dimostrato una notevole accuratezza nel distinguere tra testo umano e testo generato dall'AI, compreso il testo GPT-4.
- Il rilevatore, che utilizza un algoritmo di apprendimento automatico XGBoost basato su 20 caratteristiche testuali distinte, supera gli attuali strumenti di rilevamento dell'IA e mostra un tasso di precisione di 98%-100%.
- Lo strumento ha identificato con successo il testo generato dall'IA in vari scenari di test, anche con richieste progettate per nascondere l'uso dell'IA, indicando la robustezza nei confronti di diversi stili e complessità di scrittura.
Tuttavia, con un set di dati di addestramento così piccolo, bisogna dire che questo approccio sembra vulnerabile all'overfitting, cioè il modello potrebbe funzionare eccezionalmente bene per i dati utilizzati, ma mostrare prestazioni scarse al di fuori di essi.
Inoltre, potrebbe esserci un pregiudizio implicito nell'etichettare il testo come scritto da un essere umano in casi ambigui, dato che il rilevatore è stato sviluppato per catturare il testo generato dall'intelligenza artificiale, dando eventualmente priorità ai falsi negativi rispetto ai falsi positivi.
