Una nuova ricerca ha rivelato un potenziale pregiudizio nei confronti di chi non è madrelingua inglese nel software di rilevamento dell'intelligenza artificiale.
Il studio ha suggerito che oltre la metà dei saggi scritti da persone non madrelingua inglesi viene erroneamente segnalata come generata dall'intelligenza artificiale. Le implicazioni di questi falsi positivi sono significative, in particolare per gli studenti e i candidati al lavoro.
Lo studio ha testato sette rilevatori di testo AI ampiamente utilizzati su articoli scritti da persone non madrelingua inglese. I risultati hanno indicato un alto tasso di falsi positivi, con questi articoli che sono stati erroneamente classificati come generati dall'intelligenza artificiale.
Il professore assistente di scienza dei dati biomedici dell'Università di Stanford, James Zou, ha guidato il team che ha analizzato 91 saggi scritti da persone non madrelingua inglese attraverso sette popolari rilevatori di GPT.
Questi saggi, scritti per il TOEFL (Test of English as a Foreign Language), riconosciuto a livello mondiale, per oltre la metà sono stati erroneamente segnalati come generati dall'intelligenza artificiale. In un caso, un programma ha segnalato addirittura 98% dei saggi come creati dall'IA.
Al contrario, quando il software ha analizzato i saggi scritti da studenti americani di terza media di madrelingua inglese, oltre 90% sono stati correttamente identificati come prodotti dall'uomo.
I rilevatori di IA sono stati ampiamente criticati perché penalizzano gli individui con falsi positivi, anche se alcuni sono notevolmente peggiori di altri.
Uno dei risultati principali dello studio è che i rilevatori di IA spesso faticano a interpretare con precisione le espressioni usate da persone non madrelingua inglese.
Questi sistemi sono stati addestrati principalmente su dati di madrelingua inglese, il che li ha portati a etichettare alcune frasi o strutture come errate semplicemente perché si discostano da quello che è considerato l'uso nativo della lingua inglese.
Le persone non madrelingua inglese devono affrontare una potenziale discriminazione
Le implicazioni di questa situazione sono di vasta portata. Chi non è di madrelingua inglese potrebbe trovarsi di fronte a difficoltà nel presentare i lavori attraverso le piattaforme di valutazione automatizzate utilizzate dagli istituti scolastici.
Inoltre, gli algoritmi discriminatori potrebbero penalizzare ingiustamente gli studenti la cui prima lingua non è l'inglese, perpetuando la disuguaglianza sociale in classe.
Gli autori concludono: "Sconsigliamo vivamente l'uso di rilevatori di GPT in contesti valutativi o educativi, in particolare quando si valuta il lavoro di persone non madrelingua inglese".
Ma perché gli algoritmi di rilevamento dell'intelligenza artificiale sono ostacolati da testi in inglese non madrelingua?
I rilevatori di intelligenza artificiale si basano su "perplessità del testo", una misura della prevedibilità con cui un modello linguistico generativo può anticipare la parola successiva in una frase. Una bassa perplessità indica una facile previsione, mentre un'alta perplessità riflette una frase meno prevedibile. Le parole, le frasi, le similitudini, le metafore e le espressioni idiomatiche complesse aumentano i punteggi di perplessità, che potrebbero mancare a chi scrive in inglese non madrelingua.
Le IA tendono a produrre una sequenza di parole più prevedibile. Pertanto, gli esseri umani che utilizzano parole comuni in schemi familiari rischiano che il loro lavoro venga scambiato per un testo prodotto dall'IA.
Naturalmente, ciò non riguarda solo i testi scritti in modo non nativo, ma anche quelli scritti in uno stile o in un livello di lettura specifico. Ad esempio, un testo progettato per essere altamente leggibile rischia di essere segnalato.
Ironicamente, dopo aver identificato questo pregiudizio intrinseco, i ricercatori hanno utilizzato ChatGPT per riscrivere i saggi TOEFL segnalati utilizzando un linguaggio più complesso.
Una volta rielaborati attraverso i rilevatori di IA, tutti i saggi modificati sono stati etichettati come scritti da esseri umani. Questo risultato sottolinea una situazione in qualche modo paradossale: questi rilevatori potrebbero inavvertitamente incoraggiare gli scrittori non nativi a utilizzare maggiormente l'IA per sfuggire al rilevamento.
Gli insegnanti non si affidano solo ai rilevatori di intelligenza artificiale per reprimere il plagio. Stanno svolgendo compiti di scrittura aggiuntivi in classe, approfondendo l'uso dei riferimenti e la loro accuratezza e analizzando le citazioni per verificarne l'autenticità.
Nel frattempo, le istituzioni educative stanno stabilendo regole per l'utilizzo e la gestione dell'IA, tra cui il gruppo di università britanniche Russell Group, che ha recentemente pubblicato una dichiarazione congiunta sull'IA.
