MedARC entwickelt grundlegende KI-Modelle für die Medizin, und ihr neuestes Modell, MindEye, kann erkennen, was Sie sich angeschaut haben.
MindEye ist ein fMRI-Bild-KI-Modell, das die funktionelle Magnetresonanztomographie (fMRI) von Gehirnaktivitäten auf den CLIP-Bildraum von OpenAI abbilden kann.
Die fMRI-Scans, die sie verwendeten, stammen aus dem Natural Scenes Dataset (NSD). Der NSD besteht aus hochauflösenden fMRT-Scans des gesamten Gehirns von 8 gesunden erwachsenen Probanden, während sie im Laufe von 30-40 Scansitzungen Tausende von farbigen Naturszenen betrachteten.
MindEye kann einen fMRI-Scan analysieren und dann aus einer Liste von Testbildern genau das Originalbild heraussuchen, das die Person betrachtet hat. Selbst wenn die Bilder sehr ähnlich sind, z. B. verschiedene Fotos von Zebras, identifiziert MindEye in 93,2% der Fälle das richtige Bild.
Es kann sogar ähnliche Bilder aus einer riesigen Bilddatenbank mit Milliarden von Bildern wie der LAION-5B-Datenbank identifizieren.
Sobald MindEye die fMRI-Scans in den CLIP-Bildraum übersetzt hat, können diese in ein vortrainiertes Bilderzeugungsmodell wie Stable Diffusion oder ähnliche Modelle eingespeist werden. MedARC verwendete Versatile Diffusion, um zu versuchen, das ursprüngliche Bild, das die Versuchsperson betrachtete, wiederherzustellen.
MindEye hat diesen Teil 100% nicht richtig hinbekommen, aber er ist trotzdem sehr beeindruckend. Hier sind ihre Ergebnisse im Vergleich zu den Ergebnissen früherer Studien.
Potenzial und Fragen
Die Behauptung, MindEye könne wissen, wohin man geschaut hat, ist eine starke Vereinfachung. Um die fMRI-Daten zu erhalten, mussten die Probanden etwa 40 Stunden in einem MRT-Gerät liegen, und die Bilder, auf denen das Modell trainiert wurde, waren begrenzt.
Dennoch wird es für Neurowissenschaftler von großem Interesse sein, einen Einblick in die Art und Weise zu erhalten, wie eine Person visuelle Stimulation wahrnimmt.
Wenn man einem Patienten ein Bild zeigt, sein Gehirn scannt und dann seine Wahrnehmung des Bildes rekonstruiert, könnte dies bei der klinischen Diagnose helfen. In der Forschungsarbeit wird erklärt, dass "Patienten, die an einer schweren depressiven Störung leiden, möglicherweise Rekonstruktionen erstellen, bei denen die emotional negativen Aspekte der Bilder stärker hervortreten".
Die Forschung könnte auch dazu beitragen, mit Patienten zu kommunizieren, die am Locked-in-Syndrom (Pseudokoma) leiden.
Damit diese Anwendungen ihren vollen Nutzen entfalten können, müssen wir auf bessere Gehirn-Computer-Schnittstellen oder Wearables warten, die es nicht erforderlich machen, dass eine Person stundenlang in einem MRT-Gerät liegt.
Die MedARC räumt ein, dass ihre Forschung auch Anlass zur Vorsicht gibt. "Die Fähigkeit, die Wahrnehmung anhand der Hirnaktivität genau zu rekonstruieren, wirft Fragen zu den Auswirkungen auf die Gesellschaft auf", heißt es in dem Forschungspapier.
Wenn wirksame nicht-invasive Methoden entwickelt würden, könnte man möglicherweise die Gedanken einer Person lesen und wissen, was sie angeschaut hat.
Der Fortschritt bei der Verwendung von KI in den Neurowissenschaften ist faszinierend und wird zweifelsohne Psychiatrie-Erfahrenen helfen. Aber es wirft auch eine Reihe ethischer und datenschutzrechtlicher Fragen darüber auf, wie wir unsere Gedanken weiterhin für uns behalten können.
