AI har visat sig vara mycket användbart för att diagnostisera sjukdomar från medicinska bilder, t.ex. röntgenbilder, i stor skala. AI-verktyg kan dock inte alltid känna igen sina egna felaktigheter.
Som svar på detta har Google utvecklat ett nytt AI-system som kallas Complementarity-driven Deferral-to-Clinical Workflow (CoDoC), som kan avgöra när man ska lita på AI-baserade diagnoser och begära en second opinion från en mänsklig läkare.
Enligt uppgift från studienCoDoC minskar arbetsbelastningen vid analys av medicinsk skanningsdata med 66%, men det upptäcker också när ett AI-beslut kan vara fel, vilket minskar antalet falska positiva resultat med 25%.
CoDoC arbetar parallellt med befintliga AI-system som vanligtvis används för att tolka medicinska bilder, t.ex. röntgenbilder av bröstkorg eller mammografi.
Om till exempel ett AI-verktyg tolkar ett mammogram bedömer CoDoC om verktygets upplevda tillit till sin analys är tillräckligt stark för att man ska kunna lita på den. Om det finns några oklarheter begär CoDoC en mänsklig expert för en andra åsikt.
Så här fungerar det:
- För att träna CoDoC tog Google data från befintliga kliniska AI-verktyg och jämförde dem med en mänsklig läkares tolkning av samma bilder. Modellen validerades ytterligare med efteranalys av data via biopsi eller andra metoder.
- Denna process gör det möjligt för CoDoC att lära sig och förstå hur exakt ett AI-verktygs analys och konfidensnivåer är jämfört med mänskliga läkare.
- Efter utbildning kan CoDoC bedöma om en AI-analys av skanningar är tillförlitlig eller om det krävs en mänsklig granskning.
Alan Karthikesalingam på Google Health UK, som var involverad i forskningen, sa"Om man använder CoDoC tillsammans med AI-verktyget och en riktig radiologs resultat, och CoDoC sedan hjälper till att avgöra vilket utlåtande som ska användas, blir den resulterande träffsäkerheten bättre än för antingen personen eller AI-verktyget ensamt."
Ytterligare tester av CoDoC genomfördes med hjälp av olika mammografidataset och röntgenbilder för tuberkulosscreening i olika prediktiva AI-system, vilket gav positiva resultat.
Krishnamurthy Dvijotham på Google DeepMind konstaterade: "Fördelen med CoDoC är att det är kompatibelt med en mängd olika egenutvecklade AI-system."
Helen Salisbury från University of Oxford påpekar dock att vissa medicinska diagnosprocesser är mer komplexa än de som CoDoC testades med. Hon säger: "För system där man inte har någon möjlighet att i efterhand påverka vad som kommer ut ur den svarta lådan verkar det vara en bra idé att lägga till maskininlärning. Men jag vet inte om det innebär att vi kommer närmare AI som kommer att vara med oss hela dagen, varje dag, i vårt rutinarbete."
Som forskarna framhåller innebär CoDoC:s interoperabilitet att den kan passa in i olika diagnostiska arbetsflöden.
AI-system kan arbeta med AI-system för att förbättra deras noggrannhet. Som ordspråket säger, fyra ögon ser mer än två.
