Una nuova ricerca suggerisce che il ChatGPT può superare gli studenti in specifiche aree disciplinari, ingannando gli insegnanti ed eludendo i rilevatori di intelligenza artificiale.
Uno studio guidato da Yasir Zaki della New York University di Abu Dhabi ha rilevato che la risposta di ChatGPT ha eguagliato o superato la qualità delle risposte degli studenti in nove soggetti su 32.
In particolare, il chatbot ha ottenuto un punteggio quasi doppio rispetto alla media degli studenti di un corso chiamato Introduzione alle politiche pubbliche.
Tuttavia, l'armatura dell'intelligenza artificiale ha mostrato delle falle, in quanto ChatGPT ha faticato con i compiti che richiedevano un'"analisi critica". E non dimentichiamo che gli studenti umani hanno generalmente dominato le procedure.
Tuttavia, il divario tra il lavoro generato dall'IA e quello umano si sta riducendo, con conseguenze potenzialmente drammatiche per il settore dell'istruzione e per i sistemi di conoscenza umana nel loro complesso.
È interessante notare che ChatGPT è stato piuttosto scarso nei compiti che richiedevano competenze o conoscenze di programmazione e informatica, ma ha eccelso nella ricerca sociale, nella politica e nell'ingegneria.
I 32 argomenti trattati riguardavano materie come informatica, matematica, sociologia, psicologia, scienze politiche ed economia. Inoltre, lo studio ha intervistato studenti ed educatori di cinque Paesi - Brasile, India, Giappone, Regno Unito e Stati Uniti - per valutare le loro prospettive sull'uso della tecnologia nell'istruzione.
"I valutatori non erano a conoscenza delle fonti delle risposte, né dello scopo della valutazione", afferma Zaki.
"ChatGPT ha ottenuto risultati molto migliori nelle domande che richiedevano il richiamo di informazioni, ma scarsi nelle domande che richiedevano un'analisi critica", spiega Zaki.
Inoltre, i ricercatori hanno scoperto che i servizi di rilevamento dell'IA distinguono male le risposte umane da quelle generate dall'IA, con tassi di successo di 95%.
L'indagine che ha esplorato i sentimenti di studenti e insegnanti nei confronti dell'IA nell'istruzione ha evidenziato una polarizzazione sulla questione se l'uso dell'IA costituisca o meno un plagio.
Thomas Lancaster dell'Imperial College di Londra ha commentato le implicazioni dello studio. Secondo lui, i risultati evidenziano i difetti dell'attuale approccio alle valutazioni universitarie. "Se [sono possibili] risposte migliori [con il ChatGPT], ciò suggerisce che ci sono difetti nella progettazione della valutazione".
Risultati principali
Questo studio multiforme ha analizzato le prestazioni di ChatGPT e ha raccolto ulteriori informazioni sulle opinioni qualitative sulla tecnologia.
Ecco i principali risultati:
- Prestazioni accademiche: Le prestazioni di ChatGPT sono state paragonabili o superiori a quelle degli studenti universitari in 9 corsi su 32 in otto discipline.
- Mancano algoritmi di rilevamento: Gli attuali algoritmi, tra cui GPTZero, progettati per rilevare il testo generato da ChatGPT, sono in gran parte inefficaci. Questi algoritmi non solo classificano erroneamente le risposte umane come generate dall'IA, ma non riescono nemmeno a identificare correttamente i contenuti generati da ChatGPT come tali.
- Opinioni di studenti e insegnanti: Esiste un apparente disaccordo tra studenti ed educatori sulle implicazioni etiche dell'uso di ChatGPT. La maggior parte degli studenti intende utilizzare lo strumento per il lavoro scolastico, mentre gli educatori sono propensi a considerarne l'uso come un plagio.
- Prospettive globali: Gli studenti e gli educatori di cinque Paesi (Brasile, India, Giappone, Regno Unito e Stati Uniti) hanno espresso opinioni diverse sull'uso etico di ChatGPT. Ad esempio, mentre gli studenti indiani considerano non etico il suo utilizzo per i compiti a casa, quelli brasiliani lo ritengono etico. Tuttavia, 94% degli studenti di entrambi i Paesi intendono utilizzare ChatGPT per scopi accademici.
Il ruolo dell'IA nell'istruzione si è trasformato in un dibattito vorticoso, con gli studenti che forse sono nella posizione migliore per sfruttare la tecnologia mentre gli educatori aggiornano le loro conoscenze.
Questo ha portato ad alcune situazioni imbarazzanti, come quando un professore della Texas A&M si è rifiutato di marcare i suoi compiti in classe, perché li riteneva generati dall'intelligenza artificiale.
Una cosa è certa: L'intelligenza artificiale si inserirà sempre più saldamente nell'istruzione, con esiti positivi o negativi.
