AI viser sig at være særdeles nyttig til at diagnosticere sygdomme ud fra medicinske billeder, f.eks. røntgenbilleder, i stor skala. Men AI-værktøjer er ikke altid i stand til at genkende deres egne unøjagtigheder.
Som svar har Google udviklet et nyt AI-system kaldet Complementarity-driven Deferral-to-Clinical Workflow (CoDoC), som kan afgøre, hvornår man skal stole på AI-baserede diagnoser og bede om en second opinion fra en menneskelig læge.
Ifølge UndersøgelsenCoDoC reducerer arbejdsbyrden ved at analysere medicinske scanningsdata med 66%, men den opdager også, når en AI-beslutning potentielt er forkert, hvilket reducerer antallet af falske positiver med 25%.
CoDoC arbejder parallelt med eksisterende AI-systemer, der typisk bruges til at fortolke medicinske billeder som f.eks. røntgenbilleder af brystkassen eller mammografier.
Hvis et AI-værktøj f.eks. fortolker et mammogram, vurderer CoDoC, om værktøjets opfattede tillid til dets analyse er stærk nok til, at man kan stole på det. Hvis der er tvetydighed, beder CoDoC en menneskelig ekspert om en second opinion.
Sådan her fungerer det:
- For at træne CoDoC tog Google data fra eksisterende kliniske AI-værktøjer og sammenlignede dem med en menneskelig klinikers fortolkning af de samme billeder. Modellen blev yderligere valideret med efteranalyse af data via biopsi eller andre metoder.
- Denne proces gør det muligt for CoDoC at lære og forstå, hvor nøjagtige et AI-værktøjs analyser og tillidsniveauer er sammenlignet med menneskelige læger.
- Når den er trænet, kan CoDoC vurdere, om en AI-analyse af scanninger er troværdig, eller om der er behov for en menneskelig gennemgang.
Alan Karthikesalingam fra Google Health UK, som var involveret i forskningen, sagde"Hvis man bruger CoDoC sammen med AI-værktøjet og resultaterne fra en rigtig radiolog, og CoDoC derefter hjælper med at beslutte, hvilken udtalelse der skal bruges, er den resulterende nøjagtighed bedre end enten personen eller AI-værktøjet alene."
Yderligere test af CoDoC blev udført ved hjælp af forskellige mammografidatasæt og røntgenbilleder til tuberkulosescreening på tværs af forskellige prædiktive AI-systemer, hvilket gav positive resultater.
Krishnamurthy Dvijotham fra Google DeepMind bemærkede: "Fordelen ved CoDoC er, at det er kompatibelt med en række forskellige proprietære AI-systemer."
Helen Salisbury fra University of Oxford påpeger dog, at nogle medicinske diagnosticeringsprocesser er mere komplekse end dem, CoDoC blev testet med. Hun siger: "For systemer, hvor du ikke har nogen chance for at påvirke, hvad der kommer ud af den sorte boks, virker det som en god idé at tilføje maskinlæring. Jeg ved ikke, om det bringer AI, der skal være sammen med os hele dagen, hver dag i vores rutinearbejde, tættere på."
Som forskerne fremhæver, betyder CoDoC's interoperabilitet, at den kan indgå i forskellige diagnostiske arbejdsgange.
AI-systemer kan arbejde sammen med AI-systemer for at forbedre deres nøjagtighed. Som man siger, ser fire øjne mere end to.
