MedARC desarrolla modelos de IA fundamentales para la medicina y su último modelo, MindEye, puede decir lo que has estado mirando.
MindEye es un modelo de IA de fMRI a imagen que puede asignar imágenes de resonancia magnética funcional (fMRI) de la actividad cerebral al espacio de imagen CLIP de OpenAI.
Los escáneres de IRMf que utilizaron procedían del conjunto de datos de escenas naturales (NSD). El NSD consiste en exploraciones de RMf de alta resolución de todo el cerebro de 8 sujetos adultos sanos mientras observaban miles de escenas naturales en color a lo largo de 30-40 sesiones de exploración.
MindEye puede analizar un escáner fMRI y luego recuperar la imagen original exacta que la persona estaba mirando de la lista de imágenes de prueba. Incluso si las imágenes son muy parecidas, como distintas fotos de cebras, MindEye identifica la correcta el 93,2% de las veces.
Puede incluso identificar imágenes similares a partir de una enorme base de datos de miles de millones de imágenes, como la base de datos LAION-5B.
Una vez que MindEye traduce las exploraciones fMRI al espacio de imagen CLIP, éstas pueden introducirse en un modelo de generación de imágenes preentrenado como Stable Diffusion o modelos similares. MedARC utilizó Difusión Versátil para intentar recrear la imagen original que el sujeto estaba mirando.
MindEye no acierta en esta parte 100% pero sigue siendo realmente impresionante. Aquí están sus resultados en comparación con los resultados de estudios anteriores.
Potencial y preguntas
Decir que MindEye puede saber lo que has estado mirando es simplificar demasiado. Para obtener los datos de IRMf, los sujetos tuvieron que pasar unas 40 horas tumbados en una máquina de IRM y las imágenes con las que se entrenó el modelo eran limitadas.
Aun así, poder hacerse una idea de cómo percibe una persona la estimulación visual será de gran interés para los neurocientíficos.
Mostrar una imagen a un paciente, escanear su cerebro y luego recrear su percepción de la imagen podría ayudar al diagnóstico clínico. El trabajo de investigación explicaba que "los pacientes que sufren un trastorno depresivo mayor podrían producir reconstrucciones en las que los aspectos emocionalmente negativos de las imágenes son más destacados."
La investigación también podría ayudar a comunicarse con los pacientes que sufren el síndrome de enclaustramiento (pseudocoma).
Para aprovechar todas las ventajas de estas aplicaciones, tendremos que esperar a que haya mejores interfaces cerebro-ordenador o dispositivos portátiles que no requieran que una persona permanezca tumbada en una máquina de resonancia magnética durante horas.
MedARC reconoce que su investigación también es motivo de cautela. "La capacidad de reconstruir con precisión la percepción a partir de la actividad cerebral plantea interrogantes sobre las repercusiones sociales más amplias", señala el artículo de investigación.
Si se desarrollaran métodos eficaces y no invasivos, se podría leer la mente de una persona y saber lo que mira.
El avance en el uso de La IA en la neurociencia es fascinante y sin duda ayudar a los clínicos de salud mental. Pero también plantea una serie de problemas éticos y de privacidad sobre cómo seguimos guardando nuestros pensamientos para nosotros mismos.
