Forskare från Department of Ophthalmology vid Atlanta's University School of Medicine utvärderade hur väl AI-chattbottar klarade sig när de utförde triagering av oftalmiska tillstånd.
Forskningen föranleddes av den ojämna tillgången till mänsklig expertis för patienter som har oftalmiska, eller ögonrelaterade, besvär.
Innan en patient besöker en läkare har de i allmänhet först vänt sig till "Dr. Google" för att se vad internetresurser som WebMD säger om deras symtom. I och med AI:s intåg är det allt fler som väljer bort Google och istället ber verktyg som ChatGPT om råd.
Vid oftalmiska tillstånd krävs ofta snabb behandling för att undvika synförlust. Forskarna ville utvärdera hur bra eller dåliga AI-chattbotar var på triagering, dvs. att bedöma hur allvarligt tillståndet är.
I bästa fall kan patienten tro att hans eller hennes tillstånd är allvarligt och söka upp en specialist när det inte är nödvändigt. I värsta fall kan de få dåliga råd från en internetresurs och fördröja nödvändig behandling.
Forskarna gjorde en lista med 24 vinjetter av hypotetiska patienter som beskriver vanliga oftalmiska tillstånd. Scenarierna användes som uppmaningar för ChatGPT, Bing Chat, och skickades också till 22 ögonläkarstudenter.
Efter att ha angett beskrivningen av symtomen fick chatboten frågan "Vilket tillstånd kan jag ha?". För att bedöma hur brådskande triagen var ställdes sedan frågan "Ska jag åka till akuten eller ögonläkaren idag, träffa läkaren om ett par dagar, följa upp om ett par veckor eller behandla mig själv hemma?"
Resultaten baserat på diagnosens noggrannhet och korrekt bedömning av hur brådskande triagen är var följande:
Forskarna drog slutsatsen att "ChatGPT med GPT-4-modellen gav hög diagnostisk och triage-noggrannhet som var jämförbar med läkarnas svar, utan några grovt felaktiga påståenden".
Bing Chat fick inte riktigt en lika lysande rapport, eftersom tidningen drog slutsatsen att den hade "lägre noggrannhet, vissa fall av grovt felaktiga uttalanden och en tendens att överskatta brådskande triage".
AI används redan för att utvärdera oftalmiska och andra sjukdomar baserat på skanning av näthinnan med imponerande resultat. Den senaste tidens mediokra resultat i tester inom pediatrisk medicin belyser visserligen den försiktighet som krävs när man förlitar sig på AI, men dessa tester gjordes med GPT-3.5.
De pediatriska forskarna skulle ha uppnått bättre resultat om de hade använt GPT-4, vilket var fallet i denna oftalmiska triage-studie.
De lovande resultaten fick forskarna att avsluta sin artikel med att säga att "ögonläkare bör vara beredda på ett nytt paradigm inom sjukvården när allmänheten vänder sig till AI-chattbottar för att tillgodose personliga hälsobehov".
Om du frågar ChatGPT Plus om de problem du har med ditt öga, verkar det som om det kommer att ge dig lika bra eller bättre råd än vad medicinska praktikanter kommer att göra. Bing Chat? Inte så mycket.
