I ricercatori del Dipartimento di Oftalmologia della Scuola di Medicina dell'Università di Atlanta hanno valutato la capacità dei chatbot AI di eseguire il triage delle condizioni oftalmiche.
La ricerca è stata motivata dalla mancanza di accesso alle competenze umane per i pazienti che presentano disturbi oftalmici.
Prima che un paziente si rechi da un medico, in genere si rivolge al "dottor Google" per vedere cosa dicono risorse internet come WebMD sui suoi sintomi. Con l'avvento dell'intelligenza artificiale, sempre più persone rinunciano a Google e chiedono consigli a strumenti come ChatGPT.
Per quanto riguarda le patologie oftalmiche, spesso è necessario un trattamento tempestivo per evitare la perdita della vista. I ricercatori volevano valutare quanto fossero bravi o meno i chatbot di intelligenza artificiale a fare il triage, ovvero a valutare la gravità della patologia.
Nella migliore delle ipotesi, il paziente potrebbe pensare che la sua condizione sia grave e recarsi da uno specialista quando non è necessario. Nel peggiore dei casi, potrebbe ricevere cattivi consigli da una risorsa Internet e ritardare il trattamento necessario.
I ricercatori hanno stilato un elenco di 24 vignette di pazienti ipotetici che descrivono condizioni oftalmiche comuni. Gli scenari sono stati utilizzati come prompt per ChatGPT, la chat di Bing, e sono stati inviati anche a 22 tirocinanti in oftalmologia.
Dopo aver inserito la descrizione dei sintomi, al chatbot è stato chiesto "Quale condizione potrei avere?". Poi, per valutare l'urgenza del triage, è stato chiesto "Devo andare al pronto soccorso o dall'oculista oggi, vedere il medico tra un paio di giorni, fare un follow-up tra un paio di settimane o curarmi a casa?".
I risultati basati sull'accuratezza della diagnosi e sulla corretta valutazione dell'urgenza del triage sono stati i seguenti:
I ricercatori hanno concluso che "la ChatGPT utilizzando il modello GPT-4 ha offerto un'elevata accuratezza diagnostica e di triage, paragonabile a quella dei medici intervistati, senza affermazioni grossolanamente imprecise".
Bing Chat non ha ricevuto un rapporto altrettanto brillante, in quanto la carta ha concluso che aveva "una minore accuratezza, alcuni casi di dichiarazioni grossolanamente imprecise e una tendenza a sovrastimare l'urgenza del triage".
L'IA viene già utilizzata per valutare le malattie oftalmiche e di altro tipo basato su scansioni della retina con risultati impressionanti. La recente mediocre performance in test di medicina pediatrica evidenzia la cautela necessaria quando ci si affida all'IA, ma questi test sono stati eseguiti con GPT-3,5.
I ricercatori pediatrici avrebbero ottenuto risultati migliori se avessero utilizzato il GPT-4, come nel caso di questo studio di triage oftalmico.
I risultati promettenti hanno spinto i ricercatori a concludere il loro lavoro affermando che "gli oftalmologi dovrebbero essere preparati a un nuovo paradigma nella fornitura di assistenza sanitaria, dal momento che il pubblico laico si rivolge ai chatbot AI per soddisfare le esigenze di salute personali".
Se chiedete a ChatGPT Plus dei problemi che avete con l'occhio, sembra che vi darà consigli altrettanto buoni, o migliori, di quelli che vi daranno i medici specializzandi. Bing Chat? Non molto.
