New York Eye and Ear Infirmary of Mount Sinai (NYEE) visade hur GPT-4 kan mäta sig med eller överträffa mänskliga ögonläkare när det gäller att diagnostisera och behandla ögonsjukdomar.
Resultaten, som beskrivs i en studie som publiceras i JAMA Ophthalmology, diskuterar hur AI kan hjälpa ögonspecialister i deras beslutsprocesser.
I forskargruppen på Mount Sinai ingick 12 överläkare och tre seniora praktikanter från Department of Ophthalmology vid Icahn School of Medicine.
De jämförde svaren från både AI och mänskliga specialister på en uppsättning frågor och patientfall relaterade till glaukom och näthinnesjukdomar. GPT-4:s svar utvärderades och visade sig matcha eller överträffa de mänskliga specialisternas svar, särskilt när det gällde glaukom.
Här är lite mer detaljer om hur det fungerade:
- Upplägg av studien: Forskningen genomfördes med ett team på 15 ögonläkare vid Mount Sinai Department of Ophthalmology, bestående av behandlande läkare och seniora praktikanter specialiserade på glaukom- och näthinnesjukdomar.
- Sammanställning av data: För utvärderingen använde teamet en väl avrundad uppsättning med 20 oftalmologifrågor (jämnt fördelade mellan glaukom och näthinna) och 20 patientfall som anonymiserades för att bevara integriteten. Dessa valdes ut för att återspegla en rad olika fall från Mount Sinai-kliniker.
- Användning av AI: OpenAI:s GPT-4 uppmanades att svara på frågorna och analysera patientfallen. AI:n strävade efter att svara som en praktiserande ögonläkare och använde klinisk stenografi där det var lämpligt för att spegla den kortfattade stil som är typisk för kliniska anteckningar.
- Utvärdering: I studien användes ett betygssystem för att bedöma både noggrannheten och fullständigheten i svaren från GPT-4 och de mänskliga specialisterna. Detta möjliggjorde en direkt jämförelse av AI:s prestanda med den hos utbildad personal.
- Resultat för glaukom: För glaukom gav GPT-4 mycket exakta och mer omfattande svar än de mänskliga specialisterna. Detta indikerar att GPT-4 har en stark förmåga att förstå och ge råd om glaukomfall, vilket potentiellt kan ge värdefullt stöd till ögonläkare inom denna subspecialitet.
- Retina-resultat: För näthinne-relaterade förfrågningar och patientscenarier matchade GPT-4 mänskliga specialister, vilket visar dess förmåga att korrekt diagnostisera och rekommendera behandlingar för näthinnesjukdomar. Dessutom gav GPT-4 ofta mer detaljerade svar, vilket tyder på en grundlig analys och förståelse av fallen, vilket kan vara särskilt fördelaktigt vid hantering av mer komplexa eller nyanserade patientsituationer.
Dr Andy Huang, ST-läkare i oftalmologi vid NYEE och studiens huvudförfattare, delade med sig av sina insikter"GPT-4:s prestanda i vår studie var en ögonöppnare. Vi insåg den enorma potentialen i detta AI-system från det ögonblick vi började testa det och var fascinerade över att se att GPT-4 inte bara kunde assistera, utan i vissa fall även matcha eller överträffa expertisen hos erfarna ögonspecialister."
Dr. Louis R. Pasquale, Deputy Chair for Ophthalmology Research och en av studiens huvudförfattare, var också imponerad av resultaten: "AI var särskilt överraskande i sin förmåga att hantera både glaukom- och retinapatientfall och matchade noggrannheten och fullständigheten i diagnoser och behandlingsförslag som gjorts av mänskliga läkare i ett kliniskt anteckningsformat."
"Precis som AI-programmet Grammarly kan lära oss att bli bättre på att skriva, kan GPT-4 ge oss värdefull vägledning om hur vi kan bli bättre kliniker, särskilt när det gäller hur vi dokumenterar resultaten av patientundersökningar."
Dr. Huang ser en framtid för AI inom oftalmologi och noterar dess potential att stödja ögonspecialister genom att tillhandahålla diagnostisk hjälp och minska deras arbetsbörda, särskilt i komplexa fall.
AI har tagit väl emot tillämpningar inom ögonhälsa, till exempel 2018-2020 när DeepMind använde maskininlärning för att noggrant analysera högupplöst tredimensionell optisk koherenstomografi (OCT) för att diagnostisera många tillstånd.
År 2023 utvecklade forskare en AI-modell för att exakt upptäcka tidiga tecken på Parkinsons sjukdom från ögonskanningar.
En annan var utbildad för att upptäcka Parkinsons, hjärtsjukdomar och andra sjukdomar, återigen från ögonskanningar, och ytterligare en till upptäcka vissa sjukdomar hos spädbarn, återigen från näthinneskanningar.
