Forskere fra Department of Ophthalmology ved Atlanta University School of Medicine evaluerte hvor godt AI-chatboter klarte seg når de utførte triagering av øyesykdommer.
Bakgrunnen for forskningen var den varierende tilgangen til menneskelig ekspertise for pasienter med øyesykdommer.
Før en pasient oppsøker en lege, har de som regel først gått til "Dr. Google" for å se hva internettressurser som WebMD sier om symptomene deres. Med inntoget av kunstig intelligens er det stadig flere som velger bort Google og heller spør verktøy som ChatGPT om råd.
Ved øyesykdommer er det ofte nødvendig med rask behandling for å unngå synstap. Forskerne ønsket å evaluere hvor gode eller dårlige AI-chatboter var til å triagere, det vil si vurdere hvor alvorlig tilstanden er.
I beste fall kan pasienten tro at tilstanden er alvorlig og oppsøke en spesialist selv om det ikke er nødvendig. I verste fall kan de få dårlige råd fra en internettressurs og utsette nødvendig behandling.
Forskerne laget en liste med 24 vignetter av hypotetiske pasienter som beskrev vanlige øyesykdommer. Scenariene ble brukt som ledetekster i ChatGPT, Bing Chat, og ble også sendt til 22 øyelegeutdannede.
Etter å ha tastet inn symptombeskrivelsen ble chatboten bedt om å svare på "Hvilken tilstand kan jeg ha?". For å vurdere hvor mye det hastet, ble den deretter bedt om å svare: "Bør jeg dra til legevakten eller øyelegen i dag, oppsøke legen om et par dager, følge opp om et par uker, eller behandle meg selv hjemme?"
Resultatene basert på nøyaktigheten av diagnosen og korrekt vurdering av hvor mye det haster å triagere, var som følger:
Forskerne konkluderte med at "ChatGPT ved hjelp av GPT-4-modellen ga høy diagnostisk og triageringspresisjon som var sammenlignbar med legerespondentene, uten noen grovt unøyaktige utsagn".
Bing Chat fikk ikke fullt så strålende omtale, da papiret konkluderte med at den hadde "lavere nøyaktighet, noen tilfeller av grovt unøyaktige uttalelser og en tendens til å overvurdere hvor mye det hastet med triage".
AI brukes allerede til å evaluere øyesykdommer og andre sykdommer basert på netthinneskanning med imponerende resultater. Den siste tidens middelmådige prestasjoner i tester innen pediatrisk medisin viser at man må være forsiktig med å stole på AI, men disse testene ble utført med GPT-3.5.
Barneforskerne ville ha oppnådd bedre resultater hvis de hadde brukt GPT-4, slik tilfellet var i denne oftalmologiske triageringsstudien.
De lovende resultatene fikk forskerne til å konkludere med å si at "Øyeleger bør være forberedt på et nytt paradigme i helsevesenet når lekfolk vender seg til AI-chatboter for å dekke personlige helsebehov."
Hvis du spør ChatGPT Plus om problemene du har med øyet ditt, ser det ut til at den vil gi deg like gode, eller bedre råd enn medisinske praktikanter vil. Bing Chat? Ikke så mye.
