A MedARC desenvolve modelos de IA fundamentais para a medicina e o seu modelo mais recente, o MindEye, consegue saber para onde está a olhar.
O MindEye é um modelo de IA de fMRI para imagem que pode mapear imagens de ressonância magnética funcional (fMRI) da atividade cerebral para o espaço de imagem CLIP da OpenAI.
Os exames de fMRI que utilizaram provêm do Natural Scenes Dataset (NSD). O NSD consiste em exames de fMRI de alta resolução a todo o cérebro de 8 indivíduos adultos saudáveis, enquanto estes observavam milhares de cenas naturais coloridas ao longo de 30-40 sessões de exame.
O MindEye pode analisar um exame de fMRI e depois recuperar a imagem original exacta para a qual a pessoa estava a olhar a partir da lista de imagens de teste. Mesmo que as imagens sejam muito semelhantes, como fotografias diferentes de zebras, o MindEye identifica a imagem correcta em 93,2% das vezes.
Pode mesmo identificar imagens semelhantes a partir de uma enorme base de dados de imagens com milhares de milhões de imagens, como a base de dados LAION-5B.
Depois de o MindEye traduzir os exames de fMRI para o espaço de imagem CLIP, estes podem ser introduzidos num modelo de geração de imagens pré-treinado, como o Stable Diffusion ou modelos semelhantes. O MedARC utilizou a difusão versátil para tentar recriar a imagem original para a qual o sujeito estava a olhar.
O MindEye não acerta nesta parte 100%, mas não deixa de ser impressionante. Aqui estão os seus resultados comparados com os resultados de estudos anteriores.
Potencialidades e questões
Dizer que o MindEye consegue saber para onde estivemos a olhar é um pouco simplista. Para obter os dados de fMRI, os sujeitos tiveram de passar cerca de 40 horas deitados numa máquina de MRI e as imagens com que o modelo foi treinado eram limitadas.
Mesmo assim, o facto de se poder ter uma ideia de como uma pessoa percebe a estimulação visual será de grande interesse para os neurocientistas.
Mostrar uma imagem a um doente, analisar o seu cérebro e depois recriar a sua perceção da imagem pode ajudar no diagnóstico clínico. O documento de investigação explica que "os doentes que sofrem de perturbação depressiva grave podem produzir reconstruções em que os aspectos emocionalmente negativos das imagens são mais salientes".
A investigação poderá também ajudar a comunicar com os doentes que sofrem da síndrome de "locked-in" (pseudocoma).
Para que todas as vantagens destas aplicações se concretizem, teremos de esperar por melhores interfaces cérebro-computador ou por aparelhos que não exijam que uma pessoa fique deitada numa máquina de ressonância magnética durante horas.
A MedARC reconhece que a sua investigação é também motivo de prudência. "A capacidade de reconstruir com precisão a perceção a partir da atividade cerebral suscita questões sobre os impactos sociais mais amplos", refere o documento de investigação.
Se fossem desenvolvidos métodos eficazes e não invasivos, seria possível ler a mente de uma pessoa e saber para onde ela olhava.
O avanço na utilização de IA na neurociência é fascinante e, sem dúvida, será ajudar os clínicos de saúde mental. Mas também levanta uma série de questões éticas e de privacidade sobre a forma como continuamos a guardar os nossos pensamentos para nós próprios.
