AI blijkt uitzonderlijk nuttig te zijn voor het op schaal diagnosticeren van ziekten op basis van medische beelden, zoals röntgenstralen. AI-tools zijn echter niet altijd in staat om hun eigen onnauwkeurigheden te herkennen.
In reactie hierop heeft Google een nieuw AI-systeem ontwikkeld genaamd de Complementarity-driven Deferral-to-Clinical Workflow (CoDoC), dat kan onderscheiden wanneer je op AI gebaseerde diagnoses moet vertrouwen en een second opinion van een menselijke arts moet aanvragen.
Volgens de studieCoDoC vermindert de werklast van het analyseren van medische scangegevens met 66%, maar het detecteert ook wanneer een AI-beslissing mogelijk verkeerd is, wat vals positieven vermindert met 25%.
CoDoC werkt parallel aan bestaande AI-systemen die doorgaans worden gebruikt om medische beelden te interpreteren, zoals röntgenfoto's van de borstkas of mammogrammen.
Als een AI-tool bijvoorbeeld een mammogram interpreteert, beoordeelt CoDoC of het waargenomen vertrouwen in de analyse van de tool sterk genoeg is om erop te vertrouwen. Als er onduidelijkheid is, vraagt CoDoC een menselijke expert om een second opinion.
Zo werkt het:
- Om CoDoC te trainen, gebruikte Google gegevens van bestaande klinische AI-tools en vergeleek deze met de interpretatie van dezelfde beelden door een menselijke arts. Het model werd verder gevalideerd met post-analyse van gegevens via biopsie of andere methoden.
- Dankzij dit proces kan CoDoC leren en begrijpen hoe nauwkeurig de analyses en betrouwbaarheidsniveaus van een AI-tool zijn in vergelijking met menselijke artsen.
- Eenmaal getraind kan CoDoC beoordelen of een AI-analyse van scans betrouwbaar is of dat menselijke beoordeling nodig is.
Alan Karthikesalingam van Google Health UK, die betrokken was bij het onderzoek, zei"Als je CoDoC gebruikt in combinatie met de AI-tool en de output van een echte radioloog, en CoDoC helpt beslissen welke mening je moet gebruiken, is de resulterende nauwkeurigheid beter dan die van de persoon of de AI-tool alleen."
CoDoC werd verder getest met verschillende mammografie datasets en röntgenfoto's voor tuberculose screening met verschillende voorspellende AI-systemen, wat positieve resultaten opleverde.
Krishnamurthy Dvijotham van Google DeepMind merkte op: "Het voordeel van CoDoC is dat het interoperabel is met een verscheidenheid aan eigen AI-systemen."
Helen Salisbury van de Universiteit van Oxford wijst er echter op dat sommige medische diagnostische processen complexer zijn dan die waarmee CoDoC is getest. Ze zegt: "Voor systemen waarbij je post-hoc geen invloed kunt uitoefenen op wat er uit de zwarte doos komt, lijkt het een goed idee om machinaal leren toe te voegen. Of het AI die de hele dag, elke dag bij ons is voor ons routinewerk dichterbij brengt, weet ik niet."
Zoals de onderzoekers benadrukken, betekent de interoperabiliteit van CoDoC dat het kan worden ingepast in verschillende diagnostische workflows.
AI-systemen kunnen samenwerken met AI-systemen om hun nauwkeurigheid te verbeteren. Zoals het gezegde luidt: vier ogen zien meer dan twee.
