MedARC utvikler grunnleggende AI-modeller for medisin, og deres nyeste modell, MindEye, kan fortelle hva du har sett på.
MindEye er en fMRI-til-bilde AI-modell som kan tilordne funksjonell magnetisk resonansavbildning (fMRI) av hjerneaktivitet til OpenAIs CLIP-bilderom.
De brukte fMRI-skanninger fra Natural Scenes Dataset (NSD). NSD består av høyoppløselige fMRI-skanninger av hele hjernen til åtte friske voksne forsøkspersoner mens de så på tusenvis av naturlige fargescener i løpet av 30-40 skanningsøkter.
MindEye kan analysere en fMRI-skanning og deretter hente frem det nøyaktige originalbildet personen så på fra listen over testbilder. Selv om bildene er svært like, for eksempel ulike bilder av sebraer, identifiserer MindEye likevel det riktige bildet i 93,2% av tilfellene.
Den kan til og med identifisere lignende bilder fra en enorm bildedatabase med milliarder av bilder, som LAION-5B-databasen.
Når MindEye har oversatt fMRI-skanningene til CLIP-bilderommet, kan disse mates inn i en forhåndstrenet bildegenereringsmodell som Stable Diffusion eller lignende modeller. MedARC brukte Versatile Diffusion til å forsøke å gjenskape det opprinnelige bildet som forsøkspersonen så på.
MindEye får ikke denne delen 100% riktig, men det er likevel veldig imponerende. Her er resultatene sammenlignet med resultatene fra tidligere studier.
Potensial og spørsmål
Å si at MindEye kan vite hva du har sett på, er litt av en forenkling. For å få fMRI-dataene måtte forsøkspersonene tilbringe rundt 40 timer i en MR-maskin, og bildene modellen ble trent på, var begrenset.
Likevel vil det være av stor interesse for hjerneforskere å få et innblikk i hvordan en person oppfatter visuell stimulering.
Å vise et bilde til en pasient, skanne hjernen deres og deretter gjenskape deres oppfatning av bildet kan bidra til klinisk diagnostisering. I forskningsrapporten forklares det at "pasienter som lider av alvorlig depressiv lidelse, kan produsere rekonstruksjoner der følelsesmessig negative aspekter ved bilder er mer fremtredende."
Forskningen kan også bidra til å kommunisere med pasienter som lider av locked-in-syndrom (pseudokoma).
For å få fullt utbytte av disse bruksområdene må vi vente på bedre grensesnitt mellom hjerne og datamaskin eller wearables som ikke krever at en person må ligge i en MR-maskin i timevis.
MedARC erkjenner at forskningen deres også gir grunn til forsiktighet. "Evnen til å rekonstruere persepsjon nøyaktig ut fra hjerneaktivitet reiser spørsmål om bredere samfunnsmessige konsekvenser", heter det i forskningsartikkelen.
Hvis det etter hvert ble utviklet effektive, ikke-invasive metoder, kunne man potensielt lese tankene til en person og vite hva vedkommende så på.
Fremskrittet i bruken av Kunstig intelligens innen nevrovitenskap er fascinerende og vil utvilsomt hjelpe klinikere innen psykisk helse. Men det reiser også en rekke etiske og personvernmessige spørsmål om hvordan vi kan fortsette å holde tankene våre for oss selv.
