MedARC ontwikkelt fundamentele AI-modellen voor de geneeskunde en hun nieuwste model, MindEye, kan vertellen waar je naar hebt gekeken.
MindEye is een fMRI-naar-beeld AI-model dat functionele magnetische resonantiebeelden (fMRI) van hersenactiviteit in kaart kan brengen in OpenAI's CLIP-beeldruimte.
De fMRI-scans die ze gebruikten kwamen uit de Natural Scenes Dataset (NSD). De NSD bestaat uit fMRI-scans met een hoge resolutie van 8 gezonde volwassen proefpersonen terwijl ze gedurende 30-40 scansessies naar duizenden natuurlijke kleurenscènes keken.
MindEye kan een fMRI-scan analyseren en vervolgens uit de lijst met testbeelden het exacte originele beeld ophalen waar de persoon naar keek. Zelfs als de afbeeldingen erg op elkaar lijken, zoals verschillende foto's van zebra's, identificeert MindEye in 93,2% van de gevallen de juiste afbeelding.
Het kan zelfs soortgelijke afbeeldingen identificeren uit een enorme beelddatabase van miljarden afbeeldingen, zoals de LAION-5B database.
Zodra MindEye de fMRI-scans heeft vertaald naar de CLIP-beeldruimte, kunnen deze worden ingevoerd in een voorgetraind beeldgeneratiemodel zoals Stable Diffusion of vergelijkbare modellen. MedARC gebruikte Versatile Diffusion om te proberen het oorspronkelijke beeld waar de proefpersoon naar keek na te bootsen.
MindEye heeft dit deel 100% niet goed, maar het is nog steeds indrukwekkend. Hier zijn hun resultaten vergeleken met de resultaten van eerdere onderzoeken.
Potentieel en vragen
Zeggen dat MindEye kan weten waar je naar hebt gekeken is een beetje overdreven. Om de fMRI-gegevens te krijgen moesten de proefpersonen ongeveer 40 uur in een MRI-machine liggen en de beelden waarop het model trainde waren beperkt.
Toch zal het voor neurowetenschappers heel interessant zijn om inzicht te krijgen in hoe iemand visuele stimulatie waarneemt.
Het tonen van een afbeelding aan een patiënt, het scannen van hun hersenen en vervolgens het herscheppen van hun perceptie van de afbeelding zou kunnen helpen bij de klinische diagnose. Het onderzoeksartikel legt uit dat "patiënten die lijden aan een ernstige depressieve stoornis mogelijk reconstructies produceren waarbij emotioneel negatieve aspecten van beelden meer opvallen."
Het onderzoek zou ook kunnen helpen om te communiceren met patiënten die lijden aan het locked-in syndroom (pseudocoma).
Om het volledige voordeel van deze toepassingen te realiseren moeten we wachten op betere brein-computer interfaces of wearables waarvoor iemand niet urenlang in een MRI-machine hoeft te liggen.
MedARC erkent dat hun onderzoek ook aanleiding geeft tot voorzichtigheid. "Het vermogen om waarneming nauwkeurig te reconstrueren op basis van hersenactiviteit roept vragen op over de bredere maatschappelijke gevolgen", aldus het onderzoeksartikel.
Als er uiteindelijk effectieve niet-invasieve methoden zouden worden ontwikkeld, zou je mogelijk iemands gedachten kunnen lezen en weten waar hij of zij naar keek.
De vooruitgang in het gebruik van AI in de neurowetenschappen is fascinerend en zal ongetwijfeld clinici in de geestelijke gezondheidszorg helpen. Maar het roept ook een heleboel ethische en privacyzorgen op over hoe we onze gedachten voor onszelf blijven houden.
