De New York Eye and Ear Infirmary of Mount Sinai (NYEE) liet zien hoe GPT-4 menselijke oogartsen kan evenaren of overtreffen in het diagnosticeren en behandelen van oogziekten.
De bevindingen, in detail beschreven in een onderzoek gepubliceerd in JAMA Ophthalmology, bespreken hoe AI oogspecialisten kan helpen bij hun besluitvormingsprocessen.
Het onderzoeksteam van Mount Sinai bestond uit 12 behandelende specialisten en drie senior stagiairs van de afdeling Oogheelkunde van de Icahn School of Medicine.
Ze vergeleken de reacties van zowel de AI als de menselijke specialisten op een reeks vragen en patiëntcasussen met betrekking tot glaucoom en netvliesaandoeningen. De reacties van GPT-4 werden geëvalueerd en bleken die van de menselijke specialisten te evenaren of te overtreffen, met name bij glaucoom.
Hier is wat meer informatie over hoe het werkte:
- Opzet onderzoek: Het onderzoek werd uitgevoerd met een team van 15 oogheelkundige professionals van de afdeling Oogheelkunde van Mount Sinai, bestaande uit behandelende artsen en senior stagiairs die gespecialiseerd zijn in glaucoom- en netvliesaandoeningen.
- Gegevensverzameling: Voor de evaluatie gebruikte het team een goed afgeronde set van 20 oftalmologische vragen (gelijk verdeeld tussen glaucoom- en netvliesonderwerpen) en 20 patiëntencasussen die anoniem werden gemaakt om de privacy te waarborgen. Deze werden zo gekozen dat ze een afspiegeling vormden van een reeks casussen uit klinieken van Mount Sinai.
- Gebruik van AI: OpenAI's GPT-4 werd gevraagd om de vragen te beantwoorden en de patiëntcasussen te analyseren. De AI probeerde te reageren als een praktiserend oogarts en gebruikte waar nodig klinisch steno om de beknopte stijl van klinische aantekeningen te weerspiegelen.
- Evaluatie: Het onderzoek gebruikte een beoordelingssysteem om zowel de nauwkeurigheid als de volledigheid van de antwoorden van GPT-4 en de menselijke specialisten te beoordelen. Hierdoor konden de prestaties van de AI direct worden vergeleken met die van getrainde professionals.
- Glaucoom resultaten: Voor glaucoom gaf GPT-4 zeer nauwkeurige en uitgebreidere antwoorden dan de menselijke specialisten. Dit geeft aan dat GPT-4 goed in staat is om glaucoomgevallen te begrijpen en te adviseren, wat een waardevolle ondersteuning kan zijn voor oogartsen in dit subspecialisme.
- Netvliesresultaten: Voor netvliesgerelateerde vragen en patiëntenscenario's kwam GPT-4 overeen met menselijke specialisten, wat aantoonde dat het in staat is om een juiste diagnose te stellen en behandelingen voor netvliesaandoeningen aan te bevelen. Bovendien gaf GPT-4 vaak uitgebreidere antwoorden, wat duidt op een grondige analyse en begrip van de casussen, wat vooral nuttig zou kunnen zijn bij het omgaan met complexere of genuanceerde patiëntsituaties.
Dr. Andy Huang, arts-assistent oogheelkunde bij NYEE en hoofdauteur van het onderzoek, deelde zijn inzichtenen zei: "De prestaties van GPT-4 in ons onderzoek waren zeer onthullend. We zagen het enorme potentieel van dit AI-systeem vanaf het moment dat we het begonnen te testen en waren gefascineerd om te zien dat GPT-4 niet alleen kon assisteren, maar in sommige gevallen de expertise van doorgewinterde oogheelkundige specialisten kon evenaren of overtreffen."
Dr. Louis R. Pasquale, vice-president Oogheelkundig Onderzoek en hoofdauteur van het onderzoek, was ook onder de indruk van de resultaten en zei: "De AI was vooral verrassend in zijn vaardigheid in het behandelen van zowel glaucoom- als netvliespatiënten en evenaarde de nauwkeurigheid en volledigheid van diagnoses en behandelingssuggesties die door menselijke artsen werden gesteld in een klinisch notitieformaat."
"Net zoals de AI-toepassing Grammarly ons kan leren hoe we betere schrijvers kunnen worden, kan GPT-4 ons waardevolle richtlijnen geven over hoe we betere clinici kunnen worden, vooral als het gaat om de manier waarop we bevindingen van patiëntonderzoeken documenteren."
Dr. Huang ziet een toekomst voor AI in de oogheelkunde, waarbij hij opmerkt dat AI oogspecialisten kan ondersteunen door diagnostische hulp te bieden en hun werklast te verminderen, met name in complexe gevallen.
AI heeft goed ingespeeld op toepassingen in de ooggezondheid, zoals in 2018-2020 toen DeepMind machine learning gebruikte om driedimensionale optische coherentie tomografie (OCT) met hoge resolutie nauwkeurig te analyseren om tal van aandoeningen te diagnosticeren.
In 2023 ontwikkelden onderzoekers een AI-model om nauwkeurig vroege tekenen van de ziekte van Parkinson opsporen van oogscans.
Een ander werd getraind om Parkinson, hartaandoeningen en andere ziekten, opnieuw van oogscans, en een andere naar bepaalde ziekten bij zuigelingen opsporenweer van netvliesscans.
