Forestil dig en kunstig intelligens, der ikke bare forstår kommandoer, men også anvender dem, som et menneske ville gøre det, i en række simulerede 3D-miljøer.
Det er målet med DeepMinds (Scalable, Instructable, Multiworld Agent (SIMA).
I modsætning til traditionel AI, som måske udmærker sig i diskrete opgaver som strategiske spil eller specifik problemløsning, er SIMAs agenter trænet i at fortolke menneskelige sproginstruktioner og oversætte dem til handlinger ved hjælp af et tastatur og en mus, hvilket efterligner menneskelig interaktion med en computer.
Det betyder, at uanset om opgaven er at navigere gennem et digitalt landskab, løse gåder eller interagere med objekter i et spil, så sigter SIMA mod at forstå og udføre disse kommandoer med samme intuition og tilpasningsevne som en person ville gøre.
Vi præsenterer SIMA: den første generalistiske AI-agent, der følger instruktioner på naturligt sprog i en bred vifte af virtuelle 3D-miljøer og videospil. 🕹️
Den kan udføre opgaver, der ligner et menneskes, og klarer sig bedre end en agent, der kun er trænet i én indstilling. 🧵 https://t.co/qz3IxzUpto pic.twitter.com/02Q6AkW4uq
- Google DeepMind (@GoogleDeepMind) 13. marts 2024
Kernen i dette projekt er et stort og varieret datasæt af menneskeligt gameplay på tværs af forskningsmiljøer og kommercielle videospil.
SIMA blev trænet og testet på et udvalg af ni videospil gennem samarbejde med otte spilstudier, herunder velkendte titler som No Man's Sky og Teardown. Hvert spil udfordrer SIMA med forskellige færdigheder, fra grundlæggende navigation og ressourceindsamling til mere komplekse aktiviteter som håndværk og rumskibspilotering.
SIMAs træning omfattede fire forskningsmiljøer for at vurdere dens færdigheder inden for fysisk interaktion og objektmanipulation.
Med hensyn til arkitektur bruger SIMA foruddannede syns- og videoforudsigelsesmodeller, der er finjusteret til de specifikke 3D-indstillinger i deres spilportefølje.
I modsætning til traditionelle AI'er, der spiller spil, kræver SIMA ikke adgang til kildekode eller brugerdefinerede API'er. Den arbejder med billeder på skærmen og instruktioner fra brugeren og bruger tastatur- og musehandlinger til at udføre opgaver.
I evalueringsfasen demonstrerede SIMA færdigheder på tværs af 600 grundlæggende færdigheder, der omfattede navigation, objektinteraktion og brug af menuer.
Det, der adskiller SIMA fra andre, er dens generalitet. Denne AI bliver ikke trænet til at mestre et enkelt spil eller løse et bestemt sæt problemer.
I stedet lærer DeepMind den at være tilpasningsdygtig, at forstå instruktioner og at handle efter dem på tværs af forskellige virtuelle verdener.
Tim Harley fra DeepMind forklarede: "Det er stadig i høj grad et forskningsprojekt", men i fremtiden "kunne man forestille sig, at agenter som SIMA en dag ville spille sammen med dig i spil med dig og dine venner."
SIMA har kun brug for de billeder, der leveres af 3D-miljøet, og brugerens instruktioner på naturligt sprog. 🖱️
Med output fra mus og tastatur evalueres det på tværs af 600 færdigheder, der spænder over områder som navigation og objektinteraktion - såsom "drej til venstre" eller "fæld et træ"... pic.twitter.com/PEPfLZv2o0
- Google DeepMind (@GoogleDeepMind) 13. marts 2024
SIMA er at mestre kunsten at forstå og handle efter vores instruktioner ved at forankre sproget i perception og handling.
DeepMind har masser af spilarv, der strækker sig tilbage til AlphaGo i 2014som derefter slog flere højt profilerede spillere i det berømte komplekse asiatiske spil Go.
Men.., SIMA går dybere end videospil og bevæger sig tættere på drømmen om virkelig intelligente, instruerbare AI-agenter der udvisker grænserne mellem menneskelig og maskinel forståelse.
