MedARC développe des modèles d'IA fondamentaux pour la médecine et son dernier modèle, MindEye, peut dire ce que vous avez regardé.
MindEye est un modèle d'IA de l'IRMf à l'image qui peut cartographier l'imagerie par résonance magnétique fonctionnelle (IRMf) de l'activité cérébrale dans l'espace d'image CLIP d'OpenAI.
Les IRMf utilisées provenaient de l'ensemble de données sur les scènes naturelles (Natural Scenes Dataset - NSD). Le NSD consiste en des scans IRMf haute résolution du cerveau entier de 8 sujets adultes en bonne santé pendant qu'ils regardent des milliers de scènes naturelles en couleur au cours de 30 à 40 sessions de scans.
MindEye peut analyser un scanner IRMf et retrouver l'image originale exacte que la personne regardait à partir de la liste des images test. Même si les images sont très similaires, comme différentes photos de zèbres, le MindEye identifie toujours la bonne dans 93,2% des cas.
Il peut même identifier des images similaires à partir d'une énorme base de données de milliards d'images comme la base de données LAION-5B.
Une fois que MindEye a traduit les scans IRMf dans l'espace d'image CLIP, ceux-ci peuvent être introduits dans un modèle de génération d'image pré-entraîné comme Stable Diffusion ou des modèles similaires. MedARC a utilisé la diffusion versatile pour tenter de recréer l'image originale que le sujet regardait.
MindEye n'a pas bien compris la partie 100%, mais c'est tout de même très impressionnant. Voici leurs résultats comparés à ceux d'études antérieures.
Potentiel et questions
Dire que MindEye peut savoir ce que vous avez regardé est un peu trop simpliste. Pour obtenir les données de l'IRMf, les sujets ont dû passer environ 40 heures allongés dans un appareil d'IRM et les images sur lesquelles le modèle s'est entraîné étaient limitées.
Néanmoins, le fait de pouvoir comprendre comment une personne perçoit une stimulation visuelle sera d'un grand intérêt pour les neuroscientifiques.
Montrer une image à un patient, scanner son cerveau, puis recréer sa perception de l'image pourrait aider au diagnostic clinique. Le document de recherche explique que "les patients souffrant d'un trouble dépressif majeur pourraient produire des reconstructions où les aspects émotionnellement négatifs des images sont plus saillants".
La recherche pourrait également aider à communiquer avec les patients souffrant du syndrome d'enfermement (pseudocoma).
Pour que ces applications soient pleinement exploitées, il faudra attendre de meilleures interfaces cerveau-ordinateur ou des vêtements qui ne nécessitent pas de rester allongé dans un appareil d'IRM pendant des heures.
Le MedARC reconnaît que ses recherches incitent également à la prudence. "La capacité à reconstruire avec précision la perception à partir de l'activité cérébrale soulève des questions sur les impacts sociétaux plus larges", note le document de recherche.
Si des méthodes non invasives efficaces étaient mises au point, il serait possible de lire dans l'esprit d'une personne et de savoir ce qu'elle a regardé.
Les progrès réalisés dans l'utilisation des L'IA dans les neurosciences est fascinante et sera sans aucun doute aider les cliniciens en santé mentale. Mais elle soulève également une série de questions éthiques et de respect de la vie privée quant à la manière dont nous continuons à garder nos pensées pour nous-mêmes.
