Wie genau unser Gehirn Sprache verarbeitet und formuliert, ist noch immer ein großes Rätsel. Forscher von Meta AI haben einen neuen Weg gefunden, um Gehirnwellen zu messen und die damit verbundenen Wörter zu entschlüsseln.
Für Menschen mit stark eingeschränkten motorischen Fähigkeiten, wie ALS-Kranke, ist es besonders schwierig zu kommunizieren. Die Frustration eines Menschen wie Stephen Hawking, der mühsam einen Satz mit Augenbewegungen konstruiert oder mit einem Wangenmuskel zuckt, ist kaum vorstellbar.
Es wurden zahlreiche Forschungsarbeiten durchgeführt, um Sprache aus der Gehirnaktivität entschlüsselnaber die besten Ergebnisse sind abhängig von invasiven Gehirn-Computer-Implantate.
Die Meta AI-Forscher zeichneten mit Hilfe der Magnetoenzephalographie (MEG) und der Elektroenzephalographie (EEG) die Gehirnströme von 175 Freiwilligen auf, während diese kurzen Geschichten und isolierten Sätzen lauschten.
Sie verwendeten ein vorab trainiertes Sprachmodell und kontrastives Lernen, um herauszufinden, welche Gehirnwellenmuster mit bestimmten Wörtern verbunden waren, die die Probanden hörten.
Entschlüsselung der Sprachwahrnehmung aus nicht-invasiven Gehirnaufzeichnungen",
angeführt von dem einen und einzigen @honualx
ist gerade in der neuesten Ausgabe von Nature Machine Intelligence erschienen:- frei zugängliches Papier: https://t.co/1jtpTezQzM
- vollständiger Schulungscode: https://t.co/Al2alBxeUC pic.twitter.com/imLxRjRQ6h- Jean-Rémi King (@JeanRemiKing) 5. Oktober 2023
Die Forscher teilten das Audiomaterial in 3-Sekunden-Segmente auf und testeten dann ihr Modell, um zu sehen, ob es korrekt erkennen konnte, welches der 1.500 Segmente der Freiwillige hörte. Das Modell sagte eine Art Wortwolke voraus, wobei das wahrscheinlichste Wort am stärksten gewichtet wurde.
Sie erreichten eine durchschnittliche Genauigkeit von 41% und eine Genauigkeit von 95,9% bei ihren besten Teilnehmern.
Die Forschung zeigt, dass es möglich ist, eine recht gute Vorstellung davon zu bekommen, welche Sprache eine Person hört, aber jetzt muss der Prozess umgekehrt werden, um nützlich zu sein. Wir müssen ihre Gehirnströme messen und wissen, an welches Wort sie denken.
In dem Papier wird vorgeschlagen, ein neuronales Netz zu trainieren, während die Probanden Wörter durch Sprechen oder Schreiben produzieren. Dieses allgemeine Modell könnte dann verwendet werden, um die Gehirnströme und die damit verbundenen Wörter, an die ein ALS-Kranker denkt, zu erkennen.
Die Forscher waren in der Lage, Sprachsegmente aus einer begrenzten Menge vorgegebener Wörter zu erkennen. Für eine richtige Kommunikation müsste man viel mehr Wörter erkennen können. Der Einsatz einer generativen KI zur Vorhersage des nächsten wahrscheinlichsten Wortes, das eine Person zu sagen versucht, könnte dabei helfen.
Auch wenn das Verfahren nicht invasiv ist, muss man dennoch an ein Gerät angeschlossen werden. MEG-Gerät. Leider waren die Ergebnisse der EEG-Messungen nicht besonders gut.
Die Forschung zeigt, dass KI möglicherweise dazu genutzt werden könnte, stimmlose Menschen wie ALS-Kranke bei der Kommunikation zu unterstützen. Durch die Verwendung eines vortrainierten Modells wurde auch die Notwendigkeit eines mühsamen Wort-für-Wort-Trainings vermieden.
Meta AI hat das Modell und die Daten veröffentlicht, so dass andere Forscher hoffentlich auf ihrer Arbeit aufbauen werden.
