MedARC udvikler grundlæggende AI-modeller til medicin, og deres seneste model, MindEye, kan fortælle, hvad du har kigget på.
MindEye er en fMRI-til-billed AI-model, der kan kortlægge funktionel magnetisk resonans-billeddannelse (fMRI) af hjerneaktivitet til OpenAI's CLIP-billedrum.
De fMRI-scanninger, de brugte, kom fra Natural Scenes Dataset (NSD). NSD består af fMRI-scanninger af hele hjernen i høj opløsning af 8 raske voksne forsøgspersoner, mens de kiggede på tusindvis af naturlige farvescener i løbet af 30-40 scanningssessioner.
MindEye kan analysere en fMRI-scanning og derefter hente det nøjagtige originale billede, som personen kiggede på, fra listen over testbilleder. Selv hvis billederne er meget ens, f.eks. forskellige fotos af zebraer, identificerer MindEye stadig det rigtige billede i 93,2% af tilfældene.
Den kan endda identificere lignende billeder fra en enorm billeddatabase med milliarder af billeder som LAION-5B-databasen.
Når MindEye har oversat fMRI-scanningerne til CLIP-billedrummet, kan de føres ind i en forudtrænet billedgenereringsmodel som Stable Diffusion eller lignende modeller. MedARC brugte Versatile Diffusion til at forsøge at genskabe det oprindelige billede, som forsøgspersonen kiggede på.
MindEye får ikke denne del 100% rigtigt, men det er stadig virkelig imponerende. Her er deres resultater sammenlignet med resultaterne af tidligere undersøgelser.
Potentiale og spørgsmål
At sige, at MindEye kan vide, hvad du har kigget på, er lidt af en forsimpling. For at få fMRI-dataene måtte forsøgspersonerne tilbringe omkring 40 timer i en MR-maskine, og de billeder, modellen blev trænet på, var begrænsede.
Alligevel vil det være af stor interesse for hjerneforskere at kunne få et indblik i, hvordan en person opfatter visuel stimulation.
Hvis man viser et billede til en patient, scanner deres hjerne og derefter genskaber deres opfattelse af billedet, kan det hjælpe med den kliniske diagnose. Forskningsartiklen forklarede, at "patienter, der lider af svær depression, kan producere rekonstruktioner, hvor følelsesmæssigt negative aspekter af billeder er mere fremtrædende."
Forskningen kan også hjælpe med at kommunikere med patienter, der lider af locked-in-syndrom (pseudokoma).
For at få det fulde udbytte af disse anvendelser må vi vente på bedre hjerne-computer-grænseflader eller wearables, som ikke kræver, at man ligger i en MR-maskine i timevis.
MedARC anerkender, at deres forskning også giver anledning til forsigtighed. "Evnen til nøjagtigt at rekonstruere opfattelsen ud fra hjerneaktivitet rejser spørgsmål om bredere samfundsmæssige konsekvenser", hedder det i deres forskningsartikel.
Hvis der til sidst blev udviklet effektive ikke-invasive metoder, kunne man potentielt læse en persons tanker og vide, hvad de kiggede på.
Fremskridt i brugen af AI i neurovidenskab er fascinerende og vil uden tvivl hjælpe klinikere inden for mental sundhed. Men det rejser også en række etiske og privatlivsrelaterede spørgsmål om, hvordan vi fortsætter med at holde vores tanker for os selv.
