Google Research Healthcare LLM zeichnet Ärzte in Schlüsselbereichen aus

Das KI-System von Google, das für die Durchführung medizinischer Gespräche trainiert wurde, übertrifft menschliche Ärzte in den Bereichen Umgang mit Patienten und Diagnosegenauigkeit. 

Entwickelt von Teams bei DeepMind und Google Research und derzeit veröffentlicht auf ArXivDer Chatbot mit dem Namen Articulate Medical Intelligence Explorer (AMIE) zeichnete sich unter anderem durch die Diagnose von Atemwegs- und Herz-Kreislauf-Erkrankungen aus. 

Bei der Erfassung von Patienteninformationen während medizinischer Befragungen waren sie gleichwertig oder sogar besser als Fachärzte für Allgemeinmedizin und erzielten höhere Werte beim Einfühlungsvermögen.

Wir freuen uns, unser neues Forschungspapier über AMIE (Articulate Medical Intelligence Explorer) vorstellen zu können, einen Schritt in Richtung konversationeller diagnostischer KI durch @GoogleAI @GoogleGesundheit @GoogleDeepMindhttps://t.co/KIl1cYjgWO pic.twitter.com/JcPAiNcPgJ

- Mike Schaekermann (@HardyShakerman) 12. Januar 2024

Eine der größten Herausforderungen bei der Entwicklung von AMIE war der Mangel an realen medizinischen Gesprächen als Trainingsdaten. 

Um dieses Problem zu lösen, hat das Team von Google Health, zu dem auch der KI-Forscher Vivek Natarajan gehört, eine Methode entwickelt, die es dem Chatbot ermöglicht, sich an simulierten "Gesprächen" zu beteiligen. 

Die KI wurde darauf trainiert, in die Rolle eines Patienten, eines einfühlsamen Klinikers und eines Kritikers zu schlüpfen, der die Arzt-Patienten-Interaktion bewertet.

In Tests mit 20 Schauspielern, die Patienten simulieren sollten, und 20 zertifizierten Klinikern erreichte oder übertraf AMIE die Diagnosegenauigkeit der Ärzte in sechs medizinischen Fachgebieten.

Bei 24 von 26 Kriterien für die Gesprächsqualität, wie Höflichkeit und Erklärung von Krankheiten und Behandlungen, schnitt es besser ab als die Ärzte.

Alan Karthikesalingam, klinischer Forscher bei Google Health in London und Mitautor der Studie, stellte fest: "Unseres Wissens ist dies das erste Mal, dass ein konversationelles KI-System optimal für den diagnostischen Dialog und die Aufnahme der Krankengeschichte entwickelt wurde." 

Wir freuen uns, Ihnen AMIE (Articulate Medical Intelligence Explorer), unser Forschungs-LLM für Diagnosegespräche, vorstellen zu können. AMIE hat in einer randomisierten Studie im Stil eines "virtuellen OSCE" die Gesprächsqualität und die diagnostische Genauigkeit von Ärzten in der Grundversorgung übertroffen. Vorabdruck ➡️ https://t.co/XZizS9PtDG (1/7) pic.twitter.com/3t8hTkLmO9

- Alan Karthikesalingam (@alan_karthi) 12. Januar 2024

Karthikesalingam weist jedoch darauf hin, dass AMIE noch experimentell ist und nicht an echten Patienten getestet wurde, sondern nur an Schauspielern, die fiktive, aber plausible Krankheiten darstellen.

Wie die Studie funktionierte

Die Studie mit dem Titel "Towards Conversational Diagnostic AI" stellt AMIE vor, ein LLM, das für medizinische Diagnose-Interaktionen entwickelt wurde. 

Hier finden Sie weitere Informationen darüber, wie es funktioniert:

1. Entwicklung von AMIE: Der Articulate Medical Intelligence Explorer (AMIE) ist ein KI-System, das auf einem von Google entwickelten Large Language Model (LLM) basiert. Es ist für den diagnostischen Dialog in medizinischen Kontexten optimiert. AMIE wurde entwickelt, um den komplexen Prozess der klinischen Anamneseerhebung und diagnostischen Schlussfolgerungen zu emulieren. 
2. Simuliertes Dialogtraining: Die Forscher entwickelten eine neuartige simulierte Selbstspielumgebung, da es an realen medizinischen Gesprächen für die Ausbildung mangelte. Dies ermöglichte es AMIE, sich an simulierten Dialogen zu beteiligen und verschiedene Rollen (Patient, Arzt, Kritiker) zu spielen, um das Lernen zu verbessern. Diese Dialoge deckten eine Reihe von medizinischen Bedingungen, Fachgebieten und Kontexten ab.
3. Feinabstimmung der Anweisungen und Strategie der Argumentationskette: AMIE wurde unter Verwendung verschiedener realer Datensätze, einschließlich medizinischer Fragebeantwortung, Schlussfolgerungen, Zusammenfassungen und Dialogdaten, einer Feinabstimmung unterzogen. Eine Chain-of-Reasoning-Strategie umfasste die Analyse von Patienteninformationen, die Formulierung von Antworten und Aktionen und die Verfeinerung der Antworten auf der Grundlage des aktuellen Gesprächs.
4. Fernstudie zur objektiven strukturierten klinischen Untersuchung (OSCE): Die Forscher führten eine randomisierte, doppelblinde Crossover-Studie durch, in der AMIE mit Ärzten der Primärversorgung (PCPs) verglichen wurde. In dieser Studie wurden textbasierte Konsultationen mit 149 simulierten Patienten durchgeführt, die von Schauspielern in verschiedenen klinischen Szenarien dargestellt wurden. Sowohl die Fachärzte als auch die Patientendarsteller bewerteten die Leistung von AMIE und den Hausärzten.
5. Bewertung und Ergebnisse: Die Bewertung konzentrierte sich auf die diagnostische Genauigkeit, die Argumentation bei der Behandlung, die Kommunikationsfähigkeit und das Einfühlungsvermögen. AMIE zeigte im Vergleich zu PCPs in mehreren Bereichen, einschließlich diagnostischer Genauigkeit und Einfühlungsvermögen, überlegene Leistungen. 

Die Forscher weisen darauf hin, dass diese Ergebnisse vorerst mit Vorsicht zu genießen sind, da die Studie nur begrenzt aussagekräftig ist, z. B. durch die Verwendung einer Text-Chat-Schnittstelle und das Fehlen von Patienteninteraktionen in der realen Welt.

Es ist jedoch ein Fortschritt auf dem Weg zur Entwicklung von KI-Systemen, die in der Lage sind, medizinische Interviews und diagnostische Dialoge zu führen. 

Generative KI im Gesundheitswesen ist ein Bereich mit großem Erfolg, in dem Modelle erfolgreich Suche nach neuen Antibiotika, Verbesserung der Koloskopienund Simulation von Wechselwirkungen zwischen Verbindungen und biologischen Prozessen.

Könnten KI-Modelle nun auch patientenorientierte Aufgaben übernehmen?