Onderzoekers van de afdeling Oogheelkunde van de Atlanta University School of Medicine evalueerden hoe goed AI chatbots presteerden bij het uitvoeren van triage van oogheelkundige aandoeningen.
Aanleiding voor het onderzoek was de inconsistente toegang tot menselijke expertise voor patiënten met oogheelkundige klachten.
Voordat een patiënt een arts bezoekt, raadpleegt hij meestal eerst 'Dr. Google' om te zien wat internetbronnen zoals WebMD over zijn symptomen zeggen. Met de komst van AI laten meer mensen Google links liggen en vragen ze tools als ChatGPT om advies.
Oogheelkundige aandoeningen moeten vaak snel worden behandeld om verlies van gezichtsvermogen te voorkomen. De onderzoekers wilden evalueren hoe goed of slecht AI-chatbots waren in triage, of het evalueren van de ernst van de aandoening.
In het beste geval zou de patiënt kunnen denken dat zijn aandoening ernstig is en naar een specialist gaan terwijl dat niet nodig is. In het ergste geval kunnen ze slecht advies krijgen van een internetbron en een noodzakelijke behandeling uitstellen.
De onderzoekers maakten een lijst met 24 vignetten van hypothetische patiënten die veel voorkomende oogheelkundige aandoeningen beschreven. De scenario's werden gebruikt als prompts voor ChatGPT, Bing Chat, en werden ook verstuurd naar 22 oogheelkunde stagiairs.
Na het invoeren van de beschrijving van de symptomen werd de chatbot gevraagd "Welke aandoening zou ik kunnen hebben?". Vervolgens werd, om de urgentie van de triage te peilen, gevraagd: "Moet ik vandaag naar de eerste hulp of oogarts gaan, over een paar dagen naar de dokter, over een paar weken een vervolgafspraak maken of mezelf thuis behandelen?".
De resultaten op basis van de nauwkeurigheid van de diagnose en het correct beoordelen van de triage urgentie waren als volgt:
De onderzoekers concludeerden dat "ChatGPT met behulp van het GPT-4 model een hoge diagnostische en triage nauwkeurigheid bood die vergelijkbaar was met die van de arts-respondenten, zonder grove onnauwkeurige uitspraken".
Bing Chat kreeg niet zo'n goed rapport, want het papier concludeerde dat het "een lagere nauwkeurigheid, enkele gevallen van zeer onnauwkeurige verklaringen en een neiging om de triage urgentie te overschatten" had.
AI wordt al gebruikt om oogheelkundige en andere ziekten te evalueren gebaseerd op netvliesscans met indrukwekkende resultaten. De recente middelmatige prestaties in testen kindergeneeskunde benadrukt de voorzichtigheid die nodig is als je vertrouwt op AI, maar die tests zijn gedaan met GPT-3.5.
De pediatrische onderzoekers zouden betere resultaten hebben behaald als ze GPT-4 hadden gebruikt, zoals het geval was in deze studie naar oogheelkundige triage.
De veelbelovende resultaten brachten de onderzoekers ertoe om hun paper af te sluiten met de opmerking dat "oogartsen voorbereid moeten zijn op een nieuw paradigma in de gezondheidszorg nu het lekenpubliek zich tot AI-chatbots wendt om persoonlijke gezondheidsbehoeften aan te pakken."
Als je ChatGPT Plus vraagt naar de problemen die je hebt met je oog, lijkt het erop dat het je net zo goed, of beter, advies zal geven dan medische stagiairs zullen doen. Bing Chat? Niet zo veel.
