MedARC sviluppa modelli di IA fondamentali per la medicina e il loro ultimo modello, MindEye, è in grado di dire cosa state guardando.
MindEye è un modello di intelligenza artificiale da fMRI a immagine in grado di mappare la risonanza magnetica funzionale (fMRI) dell'attività cerebrale nello spazio immagine CLIP di OpenAI.
Le scansioni fMRI utilizzate provengono dal Natural Scenes Dataset (NSD). L'NSD consiste in scansioni fMRI ad alta risoluzione dell'intero cervello di 8 soggetti adulti sani mentre guardavano migliaia di scene naturali a colori nel corso di 30-40 sessioni di scansione.
MindEye è in grado di analizzare una scansione fMRI e di recuperare l'esatta immagine originale che la persona stava guardando dall'elenco di immagini di prova. Anche se le immagini sono molto simili, come ad esempio diverse foto di zebre, MindEye identifica comunque quella corretta il 93,2% delle volte.
Può anche identificare immagini simili da un enorme database di miliardi di immagini, come il database LAION-5B.
Una volta che MindEye traduce le scansioni fMRI nello spazio immagine CLIP, queste possono essere inserite in un modello di generazione di immagini preaddestrato come Stable Diffusion o modelli simili. MedARC ha utilizzato Versatile Diffusion per cercare di ricreare l'immagine originale che il soggetto stava guardando.
MindEye non ha azzeccato questa parte 100%, ma è comunque davvero impressionante. Ecco i loro risultati confrontati con quelli di studi precedenti.
Potenzialità e domande
Dire che MindEye è in grado di sapere cosa si sta guardando è un po' una semplificazione eccessiva. Per ottenere i dati della fMRI, i soggetti hanno dovuto trascorrere circa 40 ore sdraiati in una macchina per la risonanza magnetica e le immagini su cui il modello si è addestrato erano limitate.
Tuttavia, la possibilità di capire come una persona percepisce la stimolazione visiva sarà di grande interesse per i neuroscienziati.
Mostrare un'immagine a un paziente, scansionare il suo cervello e poi ricreare la sua percezione dell'immagine potrebbe aiutare nella diagnosi clinica. Il documento di ricerca spiega che "i pazienti affetti da disturbo depressivo maggiore potrebbero produrre ricostruzioni in cui gli aspetti emotivamente negativi delle immagini sono più salienti".
La ricerca potrebbe anche aiutare a comunicare con i pazienti affetti da sindrome locked-in (pseudocoma).
Affinché queste applicazioni possano essere sfruttate appieno, dovremo attendere interfacce cervello-computer migliori o dispositivi indossabili che non richiedano di stare sdraiati per ore in una macchina per la risonanza magnetica.
Il MedARC riconosce che la ricerca è anche motivo di cautela. "La capacità di ricostruire accuratamente la percezione dall'attività cerebrale solleva domande sull'impatto sociale più ampio", si legge nel documento di ricerca.
Se venissero sviluppati metodi efficaci e non invasivi, si potrebbe leggere la mente di una persona e sapere cosa ha guardato.
Il progresso nell'utilizzo di L'intelligenza artificiale nelle neuroscienze è affascinante e senza dubbio aiutare i clinici della salute mentale. Ma solleva anche una serie di problemi etici e di privacy sul modo in cui continuiamo a tenere per noi i nostri pensieri.
