KI erweist sich als außerordentlich nützlich für die Diagnose von Krankheiten anhand medizinischer Bilder, wie z. B. Röntgenaufnahmen, in großem Maßstab. Allerdings sind die KI-Tools nicht immer in der Lage, ihre eigenen Ungenauigkeiten zu erkennen.
Als Reaktion darauf hat Google ein neues KI-System mit der Bezeichnung "Complementarity-driven Deferral-to-Clinical Workflow" (CoDoC) entwickelt, das erkennen kann, wann man KI-basierten Diagnosen vertrauen und eine zweite Meinung eines menschlichen Arztes einholen sollte.
Nach Angaben von die StudieCoDoC reduziert den Arbeitsaufwand für die Analyse medizinischer Scandaten um 66%, erkennt aber auch, wenn eine KI-Entscheidung potenziell falsch ist, was die Zahl der Fehlalarme um 25% reduziert.
CoDoC arbeitet parallel zu bestehenden KI-Systemen, die typischerweise für die Interpretation medizinischer Bilder wie Röntgenaufnahmen der Brust oder Mammographien verwendet werden.
Wenn beispielsweise ein KI-Tool eine Mammographie interpretiert, prüft CoDoC, ob das Vertrauen in die Analyse des Tools groß genug ist, um sich darauf verlassen zu können. Im Falle von Unklarheiten bittet CoDoC einen menschlichen Experten um eine zweite Meinung.
Und so funktioniert es:
- Um CoDoC zu trainieren, nahm Google Daten aus bestehenden klinischen KI-Tools und verglich sie mit der Interpretation der gleichen Bilder durch einen menschlichen Arzt. Das Modell wurde durch die Nachanalyse von Daten mittels Biopsie oder anderer Methoden weiter validiert.
- Dieser Prozess ermöglicht es CoDoC, zu lernen und zu verstehen, wie genau die Analyse eines KI-Tools und das Vertrauensniveau im Vergleich zu menschlichen Ärzten sind.
- Einmal trainiert, kann CoDoC beurteilen, ob eine KI-Analyse von Scans vertrauenswürdig ist oder ob eine menschliche Überprüfung erforderlich ist.
Alan Karthikesalingam von Google Health UK, der an der Untersuchung beteiligt war, sagteWenn man CoDoC zusammen mit dem KI-Tool und den Ergebnissen eines echten Radiologen verwendet und dann CoDoC bei der Entscheidung hilft, welche Meinung zu verwenden ist, ist die resultierende Genauigkeit besser als entweder die Person oder das KI-Tool allein."
Weitere Tests von CoDoC wurden mit verschiedenen Mammographie-Datensätzen und Röntgenbildern für das Tuberkulose-Screening mit verschiedenen prädiktiven KI-Systemen durchgeführt und ergaben positive Ergebnisse.
Krishnamurthy Dvijotham von Google DeepMind bemerkte: "Der Vorteil von CoDoC ist, dass es mit einer Vielzahl von proprietären KI-Systemen interoperabel ist."
Helen Salisbury von der University of Oxford weist jedoch darauf hin, dass einige medizinische Diagnoseverfahren komplexer sind als die, mit denen CoDoC getestet wurde. Sie sagt: "Für Systeme, bei denen man keine Möglichkeit hat, post-hoc zu beeinflussen, was aus der Blackbox kommt, scheint es eine gute Idee zu sein, maschinelles Lernen hinzuzufügen. Ich weiß nicht, ob es die KI, die uns den ganzen Tag und jeden Tag bei unserer Routinearbeit begleiten wird, näher bringt."
Wie die Forscher betonen, bedeutet die Interoperabilität von CoDoC, dass es in verschiedene diagnostische Arbeitsabläufe integriert werden kann.
AI-Systeme können mit KI-Systemen zusammenarbeiten, um ihre Genauigkeit zu verbessern. Wie das Sprichwort sagt, sehen vier Augen mehr als zwei.
