ChatGPT ha dimostrato le sue capacità di esame, ottenendo punteggi simili a quelli degli studenti di diversi corsi di laurea e di altri test, come l'esame di abilitazione alla professione di avvocato. Ma è in grado di fornire risultati soddisfacenti negli esami di medicina?
Un gruppo di medici pediatrici ha messo alla prova ChatGPT, in particolare il modello GPT-3,5.
Hanno superato il test ChatGPT all'esame di ammissione al collegio neonatale-perinatale, che è fondamentale per gli studenti di pediatria. Lo studio, pubblicato su JAMAha rivelato che ChatGPT versione 3.5 ha ottenuto solo 46% risposte corrette.
ChatGPT ha ottenuto i migliori risultati nelle domande di richiamo di base e in quelle a tema di ragionamento clinico, ma i suoi limiti sono stati evidenziati dalle domande che richiedevano un ragionamento multi-logico.
In particolare, il modello ha ottenuto il punteggio più basso, 37,5%, nella sezione di gastroenterologia e il più alto, 78,5%, in quella di etica, forse ironicamente.
L'autore senior dello studio, Andrew Beam, è professore assistente di informatica biomedica alla Harvard Medical School.
Ha sottolineato che i rapidi progressi dell'IA sono stati a dir poco notevoli. "L'anno scorso c'è stato un momento in cui, all'improvviso, cinque o sei modelli diversi hanno ottenuto tutti punteggi dell'80% o superiori", ha detto, sottolineando il ritmo rapido con cui il campo si sta evolvendo.
Anche la moglie di Beam, Kristyn, docente di pediatria alla Harvard Medical School, ha partecipato allo studio. "Volevo che non andasse bene, quindi da questo punto di vista ero felice", ha confessato.
Tuttavia, l'autrice riconosce l'inevitabilità dell'integrazione dell'IA nell'assistenza sanitaria, come abbiamo già visto con Scansione MRI potenziata dall'intelligenza artificiale, diagnostica delle malattie dell'occhio, e sviluppo del farmacoper citare solo alcune delle applicazioni del suo fiorente repertorio.
"È davvero importante capire come portare tutto ciò nel mondo clinico e in modo sicuro".
L'équipe ha in programma di condurre test con il GPT-4 superiore e di applicarli agli stessi esami di ammissione all'albo neonatale-perinatale e anestesiologico.
Andrew Beam ha anche sottolineato l'importanza di sapere quale versione di un modello linguistico di grandi dimensioni si sta utilizzando, facendo notare che il più recente GPT-4 è disponibile su abbonamento, mentre il più vecchio ChatGPT 3.5 è ancora disponibile gratuitamente.
"La maggior parte degli utenti sarà probabilmente attratta dallo strumento gratuito e dovrà tener conto dei suoi limiti", ha dichiarato. A livello globale, $20/mo è tutt'altro che trascurabile.
ChatGPT è stato testati in vari esami, compreso un recente studio che lo ha messo a confronto con 32 argomenti di laurea, scoprendo che ha battuto o superato gli studenti solo in 9/32 esami.
L'intelligenza artificiale è stata testata anche all'esame di abilitazione alla professione forense, al Graduate Record Examinations (GRE), al SAT Reading and Writing, agli esami di Advanced Placement e al test di valutazione. molti altrispesso con punteggi molto alti.
