Kunstig intelligens har vist seg å være svært nyttig når det gjelder å diagnostisere sykdommer ut fra medisinske bilder, for eksempel røntgenbilder, i stor skala. AI-verktøyene er imidlertid ikke alltid i stand til å gjenkjenne sine egne unøyaktigheter.
Som svar på dette har Google utviklet et nytt AI-system kalt Complementarity-driven Deferral-to-Clinical Workflow (CoDoC), som kan avgjøre når man skal stole på AI-baserte diagnoser og be om en second opinion fra en menneskelig lege.
Ifølge studienCoDoC reduserer arbeidsmengden ved analyse av medisinske skanningsdata med 66%, men den oppdager også når en AI-beslutning potensielt er feil, noe som reduserer falske positiver med 25%.
CoDoC fungerer parallelt med eksisterende AI-systemer som vanligvis brukes til å tolke medisinske bilder, for eksempel røntgenbilder av brystkassen eller mammografi.
Hvis et AI-verktøy for eksempel tolker et mammogram, vurderer CoDoC om verktøyets opplevde tillit til analysen er sterk nok til at man kan stole på det. Hvis det er uklarheter, ber CoDoC en menneskelig ekspert om en ny vurdering.
Slik fungerer det:
- For å trene opp CoDoC tok Google data fra eksisterende kliniske AI-verktøy og sammenlignet dem med en menneskelig klinikers tolkning av de samme bildene. Modellen ble videre validert med etteranalyse av data via biopsi eller andre metoder.
- Denne prosessen gjør det mulig for CoDoC å lære og forstå hvor nøyaktig et AI-verktøys analyse og konfidensnivå er sammenlignet med menneskelige leger.
- Når CoDoC er opplært, kan den vurdere om en AI-analyse av skanninger er pålitelig, eller om det er nødvendig med en menneskelig gjennomgang.
Alan Karthikesalingam ved Google Health UK, som var involvert i forskningen, sa"Hvis du bruker CoDoC sammen med AI-verktøyet og resultatene fra en ekte radiolog, og CoDoC hjelper deg med å avgjøre hvilken vurdering som skal brukes, blir nøyaktigheten bedre enn både den personlige vurderingen og AI-verktøyet alene."
CoDoC ble testet videre ved hjelp av ulike datasett for mammografi og røntgenbilder for tuberkulosescreening på tvers av ulike prediktive AI-systemer, og resultatene var positive.
Krishnamurthy Dvijotham hos Google DeepMind bemerket: "Fordelen med CoDoC er at det er kompatibelt med en rekke proprietære AI-systemer."
Helen Salisbury fra University of Oxford påpeker imidlertid at enkelte medisinske diagnostiske prosesser er mer komplekse enn de CoDoC ble testet med. Hun sier: "For systemer der du ikke har noen mulighet til å påvirke hva som kommer ut av den svarte boksen i etterkant, virker det som en god idé å legge til maskinlæring. Men jeg vet ikke om det bringer oss nærmere AI som kommer til å være sammen med oss hele dagen, hver dag, i rutinearbeidet vårt."
Forskerne fremhever at CoDoCs interoperabilitet betyr at den kan inngå i ulike diagnostiske arbeidsflyter.
AI-systemer kan samarbeide med AI-systemer for å forbedre nøyaktigheten. Som ordtaket sier, fire øyne ser mer enn to.
