MedARC разрабатывает фундаментальные модели искусственного интеллекта для медицины, и их последняя модель, MindEye, может определить, на что вы смотрите.
MindEye - это модель ИИ для преобразования фМРТ в изображения, которая может отображать функциональную магнитно-резонансную томографию (фМРТ) активности мозга в пространство изображений CLIP от OpenAI.
Они использовали фМРТ-сканы из набора данных "Естественные сцены" (НСД). НСД состоит из фМРТ-сканов всего мозга с высоким разрешением 8 здоровых взрослых испытуемых, которые рассматривали тысячи цветных естественных сцен в течение 30-40 сеансов сканирования.
MindEye может проанализировать скан фМРТ и затем извлечь из списка тестовых изображений точное оригинальное изображение, на которое смотрел человек. Даже если изображения очень похожи, например разные фотографии зебр, MindEye все равно определяет правильное в 93,2% случаев.
Он даже может идентифицировать похожие изображения из огромной базы данных, состоящей из миллиардов изображений, например, из базы данных LAION-5B.
После того как MindEye переводит сканы фМРТ в пространство изображений CLIP, их можно передать в предварительно обученную модель генерации изображений, например Stable Diffusion или аналогичные модели. MedARC использовал модель Versatile Diffusion, чтобы попытаться воссоздать исходное изображение, на которое смотрел испытуемый.
MindEye не совсем правильно оценивает эту часть 100%, но все равно это впечатляет. Вот их результаты в сравнении с результатами предыдущих исследований.
Потенциал и вопросы
Сказать, что MindEye может узнать, на что вы смотрели, - это слишком упрощенно. Чтобы получить данные фМРТ, испытуемым пришлось около 40 часов пролежать в аппарате МРТ, а изображения, на которых обучалась модель, были ограничены.
Тем не менее, возможность понять, как человек воспринимает визуальную стимуляцию, будет представлять большой интерес для нейробиологов.
Показ изображения пациенту, сканирование его мозга и последующее воссоздание восприятия изображения может помочь в клинической диагностике. В исследовательской работе объясняется, что "пациенты, страдающие от большого депрессивного расстройства, могут создавать реконструкции, в которых эмоционально негативные аспекты изображений будут более заметны".
Исследование также может помочь в общении с пациентами, страдающими от синдрома запертого человека (псевдокомы).
Чтобы в полной мере реализовать преимущества этих приложений, нам нужно дождаться появления более совершенных интерфейсов мозг-компьютер или носимых устройств, которые не требуют от человека часами лежать в аппарате МРТ.
MedARC признает, что их исследование также является поводом для осторожности. "Возможность точного восстановления восприятия по активности мозга заставляет задуматься о более широких социальных последствиях", - говорится в их научной статье.
Если бы в конце концов были разработаны эффективные неинвазивные методы, вы могли бы читать мысли человека и знать, на что он смотрит.
Прогресс в использовании ИИ в нейронауках увлекательна и, несомненно. помочь врачам психиатрических клиник. Но это также вызывает множество этических вопросов и проблем с конфиденциальностью, связанных с тем, как мы продолжаем держать свои мысли при себе.
