Google DeepMind har lansert en rekke nye verktøy som skal hjelpe roboter med å lære raskere og mer effektivt i nye miljøer.
Å lære opp en robot til å utføre en bestemt oppgave i et enkelt miljø er en relativt enkel teknisk oppgave. Hvis roboter virkelig skal være nyttige for oss i fremtiden, må de kunne utføre en rekke generelle oppgaver og lære seg å gjøre dem i miljøer de ikke har opplevd før.
I fjor lanserte DeepMind sin RT-2 robotikk-kontrollmodell og RT-X robotdatasett. RT-2 oversetter tale- eller tekstkommandoer til robothandlinger.
De nye verktøyene DeepMind lanserte, bygger på RT-2 og bringer oss nærmere autonome roboter som utforsker ulike miljøer og lærer nye ferdigheter.
I løpet av de siste to årene har store grunnmodeller vist seg å være i stand til å oppfatte og resonnere om verden rundt oss, noe som åpner for en viktig mulighet for skalering av robotteknologi.
Vi introduserer AutoRT, et rammeverk for orkestrering av robotagenter i naturen ved hjelp av fundamentmodeller! pic.twitter.com/x3YdO10kqq
- Keerthana Gopalakrishnan (@keerthanpg) 4. januar 2024
AutoRT
AutoRT kombinerer en grunnleggende stor språkmodell (LLM) med en visuell språkmodell (VLM) og en robotkontrollmodell som RT-2.
VLM gjør det mulig for roboten å vurdere scenen foran seg og sende beskrivelsen videre til LLM. LLM evaluerer de identifiserte objektene og scenen, og genererer deretter en liste over potensielle oppgaver som roboten kan utføre.
Oppgavene evalueres ut fra sikkerhet, robotens evner og hvorvidt det å utføre oppgaven vil tilføre nye ferdigheter eller mangfold til AutoRTs kunnskapsbase.
DeepMind sier at de med AutoRT "trygt orkestrerte så mange som 20 roboter samtidig, og opptil 52 unike roboter totalt, i en rekke kontorbygninger, og samlet inn et mangfoldig datasett bestående av 77 000 robotforsøk på tvers av 6 650 unike oppgaver".
Robotkonstitusjon
Når en robot sendes ut i nye omgivelser, vil den støte på potensielt farlige situasjoner som det ikke er mulig å planlegge spesifikt for. Ved å bruke en robotkonstitusjon som en veiledende guide får robotene generaliserte sikkerhetsrekkverk.
Robotens oppbygning er inspirert av Isaac Asimovs tre lover for robotikk:
- En robot kan ikke skade et menneske.
- Denne roboten skal ikke forsøke å utføre oppgaver som involverer mennesker, dyr eller levende ting. Denne roboten skal ikke samhandle med gjenstander som er skarpe, for eksempel en kniv.
- Denne roboten har bare én arm, og kan dermed ikke utføre oppgaver som krever to armer. Den kan for eksempel ikke åpne en flaske.
Ved å følge disse retningslinjene unngår roboten å velge en oppgave fra listen over alternativer som kan skade noen eller skade seg selv eller noe annet.
SARA-RT
SARA-RT (Self-Adaptive Robust Attention for Robotics Transformers) tar modeller som RT-2 og gjør dem mer effektive.
Nevrale nettverk i RT-2 bygger på oppmerksomhetsmoduler med kvadratisk kompleksitet. Det betyr at hvis du dobler inndataene ved å legge til en ny sensor eller øke kameraoppløsningen, trenger du fire ganger så mange beregningsressurser.
SARA-RT bruker en lineær oppmerksomhetsmodell for å finjustere robotmodellen. Dette resulterte i en hastighetsforbedring på 14% og en nøyaktighetsgevinst på 10%.
RT-Trajectory
Det er komplisert å konvertere en enkel oppgave som å tørke av et bord til instruksjoner som en robot kan følge. Oppgaven må konverteres fra naturlig språk til en kodet sekvens av motorbevegelser og rotasjoner som skal drive robotens bevegelige deler.
RT-Trajectory legger til et visuelt 2D-overlegg på en treningsvideo, slik at roboten kan lære intuitivt hva slags bevegelse som kreves for å utføre oppgaven.
Så i stedet for bare å instruere roboten om å "rydde bordet", gir demonstrasjonen og bevegelsesoverlegget roboten en bedre sjanse til å lære den nye ferdigheten raskt.
DeepMind sier at en arm styrt av RT-Trajectory "oppnådde en suksessrate på 63%, sammenlignet med 29% for RT-2".
🔵 Den kan også lage baner ved å se på menneskelige demonstrasjoner, forstå skisser og til og med VLM-genererte tegninger.
Ved testing av 41 oppgaver som ikke var sett i opplæringsdataene, oppnådde en arm styrt av RT-Trajectory en suksessrate på 63%. https://t.co/rqOnzDDMDI pic.twitter.com/bdhi9W5TWi
- Google DeepMind (@GoogleDeepMind) 4. januar 2024
DeepMind gjør disse modellene og datasettene tilgjengelige for andre utviklere, så det blir interessant å se hvordan disse nye verktøyene fremskynder integreringen av AI-drevne roboter i hverdagen.
