MedARC utvecklar grundläggande AI-modeller för medicin och deras senaste modell, MindEye, kan berätta vad du har tittat på.
MindEye är en fMRI-till-bild AI-modell som kan mappa funktionell magnetisk resonanstomografi (fMRI) av hjärnaktivitet till OpenAI:s CLIP-bildrymd.
De fMRI-skanningar som användes kom från Natural Scenes Dataset (NSD). NSD består av högupplösta fMRI-skanningar av hela hjärnan av 8 friska vuxna försökspersoner medan de tittade på tusentals naturliga scener i färg under 30-40 skanningssessioner.
MindEye kan analysera en fMRI-scanning och sedan hämta den exakta originalbilden som personen tittade på från listan med testbilder. Även om bilderna är mycket lika, som olika foton av zebror, identifierar MindEye ändå den rätta bilden i 93,2% av fallen.
Den kan till och med identifiera liknande bilder från en enorm bilddatabas med miljarder bilder som LAION-5B-databasen.
När MindEye har översatt fMRI-scanningarna till CLIP-bildrymden kan dessa matas in i en förtränad bildgenereringsmodell som Stable Diffusion eller liknande modeller. MedARC använde Versatile Diffusion för att försöka återskapa den ursprungliga bilden som försökspersonen tittade på.
MindEye får inte denna del 100% rätt men det är fortfarande riktigt imponerande. Här är deras resultat jämfört med resultaten från tidigare studier.
Potential och frågor
Att säga att MindEye kan veta vad du har tittat på är lite av en förenkling. För att få fram fMRI-data var försökspersonerna tvungna att tillbringa cirka 40 timmar i en MR-maskin och de bilder som modellen tränades på var begränsade.
Trots detta kommer det att vara av stort intresse för neurovetenskapsmän att kunna få en inblick i hur en person uppfattar visuell stimulering.
Att visa en bild för en patient, skanna deras hjärna och sedan återskapa deras uppfattning av bilden kan hjälpa till med klinisk diagnos. I forskningsrapporten förklaras att "patienter som lider av allvarlig depressionssjukdom kan producera rekonstruktioner där känslomässigt negativa aspekter av bilder är mer framträdande".
Forskningen skulle också kunna bidra till att kommunicera med patienter som lider av locked-in-syndrom (pseudocoma).
För att kunna dra full nytta av dessa applikationer måste vi vänta på bättre gränssnitt mellan hjärna och dator eller wearables som inte kräver att en person ligger i en MR-maskin i timmar.
MedARC erkänner att deras forskning också ger anledning till försiktighet. "Förmågan att korrekt rekonstruera perception från hjärnaktivitet väcker frågor om bredare samhälleliga effekter", konstaterade deras forskningsdokument.
Om effektiva icke-invasiva metoder så småningom utvecklades skulle man potentiellt kunna läsa en persons tankar och veta vad de tittade på.
Framstegen med att använda AI inom neurovetenskap är fascinerande och kommer utan tvekan att hjälpa kliniker inom mental hälsa. Men det väcker också en mängd etiska och integritetsrelaterade frågor om hur vi ska kunna fortsätta att hålla våra tankar för oss själva.
