Il pannello diagnostico IA di Microsoft batte i medici 83% a 36% in uno studio su Science

Il sistema di diagnosi basato sull'intelligenza artificiale di Microsoft, MAI-DxO, ha diagnosticato correttamente 83% dei casi complessi del New England Journal of Medicine in uno studio sottoposto a revisione paritaria e pubblicato su Science, contro 36% dei medici di medicina generale che potevano utilizzare strumenti di riferimento.

Il documento, “Diagnosi sequenziale con modelli linguistici”, è stato pubblicato il 22 ottobre. Invece di fornire a un'IA una descrizione completa del caso, fa sì che il sistema parta da una breve presentazione e decida cosa chiedere e quali esami prescrivere, proprio come farebbe un medico.

Come funziona

Il team ha creato un benchmark chiamato SDBench utilizzando 304 casi clinico-patologici del NEJM e 325 ricoveri in pronto soccorso provenienti dal dataset MIMIC-IV-ED. Un agente "Gatekeeper" rivela solo ciò che una domanda o un test potrebbero realisticamente mostrare, mentre un agente "Judge" assegna un punteggio alla diagnosi finale.

MAI-DxO, l'orchestratore diagnostico di intelligenza artificiale di Microsoft, funziona come un gruppo di medici virtualiCiascuno propone diagnosi, seleziona domande o test e contesta la visione emergente, mentre il sistema valuta il costo di ogni test.

I numeri

Nei casi pubblicati sul NEJM, il sistema basato su GPT-5 ha ottenuto un punteggio di 83,2% con un costo medio stimato del test di 5.431 dollari. I medici hanno ottenuto in media 36,1% con strumenti di ricerca e consultazione e 22,3% senza. Persino il miglior medico individuale, con 51,8%, è stato superato sia in termini di accuratezza che di costo.

Nei casi di emergenza più comuni, MAI-DxO ha raggiunto 80,3% contro 46,8% per i medici. Microsoft afferma che i miglioramenti si sono mantenuti e sono addirittura aumentati quando ha ripetuto la valutazione su GPT-5.5 senza modificare l'orchestrazione.

Le avvertenze

Gli autori sono espliciti riguardo ai limiti. I test erano basati esclusivamente su testo, confrontavano l'IA con singoli generalisti anziché con specialisti o team e misuravano "il ragionamento diagnostico in condizioni informative idealizzate piuttosto che le prestazioni al letto del paziente o gli esiti clinici". Tutti gli autori sono dipendenti Microsoft.

Ecco perché il prossimo passo è importante. Microsoft afferma che condurrà uno studio prospettico con il Beth Israel Deaconess Medical Center di Boston, dove i pazienti interagiscono direttamente con il sistema. Inoltre, renderà pubblico il codice sorgente di SDBench in modo che altri possano testare altri modelli e mettere in discussione i risultati.

Perché è importante

I medici di base sono già rivolgendosi a ChatGPT e altri strumenti per la diagnosi, e strumenti come quelli del NHS Strumento per il cancro Mia È stato dimostrato che l'IA può individuare errori che sfuggono ai medici. Un panel strutturato e attento ai costi come MAI-DxO indica una versione più rigorosa di questo approccio, ma finché non verrà validato su pazienti reali, si tratta di un risultato di riferimento, non clinico.