Uno studio di Copyleaks ha rilevato che ben 60% dei risultati del GPT-3.5 di OpenAI presentavano segni di plagio.
Copyleaks, che sviluppa strumenti di analisi del plagio e dei contenuti dell'IA, sottolinea la dubbia originalità e affidabilità dei testi generati dall'IA, in particolare alla luce dei recenti violazione del copyright e le controversie sul plagio.
Lo studio ha analizzato 1.045 risultati di GPT-3.5, relativi a 26 materie accademiche e creative, tra cui, ma non solo, fisica, chimica, informatica, psicologia, legge e scienze umane, con una lunghezza media di 412 parole per ogni risultato.
I risultati del Rapporto Copyleaks includono i seguenti elementi:
- Circa il 59,7% di tutti i testi generati dal GPT-3.5 sono risultati contenere contenuti plagiati in qualche misura.
- Il 45,7% dei risultati conteneva corrispondenze testuali esatte, il 27,4% includeva lievi modifiche e il 46,5% prevedeva la parafrasi di fonti preesistenti.
- In particolare, la materia informatica ha registrato il più alto "punteggio di somiglianza" individuale con circa 100%, evidenziando un problema significativo nei settori che si basano fortemente su un linguaggio tecnico e specialistico.
Il "Similarity Score" dello studio è una metrica proprietaria progettata da Copyleaks per quantificare il grado di originalità dei contenuti. Esso amalgama vari fattori, come il testo identico e la parafrasi.
La Fisica ha registrato il punteggio medio di somiglianza più alto, pari a 31,3%, mentre Psicologia non è stata da meno con 27,7% e Scienze generali con 26,7%. All'estremo opposto, il Teatro ha registrato il punteggio medio più basso, pari ad appena 0,9%, seguito dalle materie umanistiche con 2,8% e dalla Lingua inglese con 5,4%.
La diffusione dei punteggi di somiglianza tra i soggetti non è particolarmente sorprendente. Ci sono modi quasi illimitati per interpretare un'opera di Shakespeare e molti meno per analizzare un teorema matematico consolidato, per esempio.
Alon Yamin, CEO e cofondatore di Copyleaks, ha dichiarato che materie come la fisica, la chimica, l'informatica e la psicologia, a causa dei loro punteggi più elevati, meritano un controllo più attento per quanto riguarda il plagio.
"Per esempio, Fisica, Chimica, Matematica e Psicologia potrebbero richiedere un esame più approfondito per identificare un testo plagiato, mentre altre materie, tra cui Teatro e Lettere, potrebbero richiedere un esame meno approfondito", ha detto Yamin.
Tuttavia, gli educatori devono riconoscere che alcune materie si prestano naturalmente a punteggi di somiglianza elevati.
Yamin ha anche dichiarato: "Inoltre, i dati sottolineano la necessità per le organizzazioni di adottare soluzioni che rilevino la presenza di contenuti generati dall'IA e forniscano la necessaria trasparenza in merito al potenziale plagio all'interno dei contenuti dell'IA".
Questo è un buon punto. Se le organizzazioni educative permettono all'IA di redigere e generare contenuti (e alcuni lo sono già), gli studenti potrebbero comunque essere esposti al plagio.
Va anche detto che i punteggi dei contenuti generati dal GPT-4 avrebbero mostrato punteggi di plagio inferiori.
Mentre la maggior parte dei contenuti generati dall'IA è probabilmente ancora creata con GPT-3.5 (perché è gratuito), GPT-4 è senza dubbio più efficace nel generare lavoro originale.
Tuttavia, questo introduce un ulteriore livello di complessità.
Poiché GPT-4 fa parte della versione a pagamento di ChatGPT, accettare o incoraggiare l'uso dell'IA in ambito educativo potrebbe discriminare gli utenti di GPT-3.5, a meno che gli abbonamenti non siano sovvenzionati.
Un equilibrio delicato
Man mano che gli strumenti di IA generativa vengono inseriti nei contesti accademici, sia gli educatori che gli studenti sono confusi sul loro utilizzo.
Società di analisi dei contenuti come Copyleaks e Turnitin hanno sviluppato strumenti di rilevamento dell'IA che prevedono quando una stringa di parole è probabilmente generata dall'IA. Tuttavia, questi strumenti presentano evidenti punti deboli e rischiano di essere falsi positivi.
Inoltre, è stato dimostrato che il software di rilevamento dell'intelligenza artificiale favoriscono fortemente la scrittura in lingua inglesepoiché spesso contiene una maggiore concentrazione di vocaboli e modi di dire diversi che inducono i rilevatori di intelligenza artificiale a etichettare il testo come "scritto dall'uomo".
Limitare l'uso della tecnologia AI nel mondo accademico non sarà facile. L'IA generativa viene presentata come lo strumento di produttività definitivo e molti sostengono che se si può usare, si deve.
Gli studenti spesso sostengono che se questi strumenti sono pervasivi nel mondo reale, dovrebbero essere consentiti anche negli ambienti educativi.
Inoltre, come molti possono testimoniare, l'istruzione a volte consiste nel trovare scorciatoie ingegnose per portare a termine le cose.
Ci si può davvero aspettare che gli studenti lascino l'IA generativa intatta sul tavolo?
