Google DeepMind heeft een reeks nieuwe tools uitgebracht om robots te helpen sneller en efficiënter autonoom te leren in nieuwe omgevingen.
Een robot trainen om een specifieke taak in één omgeving uit te voeren is een relatief eenvoudige technische taak. Als robots in de toekomst echt nuttig voor ons willen zijn, moeten ze een reeks algemene taken kunnen uitvoeren en leren om deze uit te voeren in omgevingen die ze nog niet eerder hebben ervaren.
Vorig jaar bracht DeepMind zijn RT-2 robotica besturingsmodel en RT-X robotdatasets. RT-2 vertaalt spraak- of tekstopdrachten naar robotacties.
De nieuwe tools die DeepMind aankondigde bouwen voort op RT-2 en brengen ons dichter bij autonome robots die verschillende omgevingen verkennen en nieuwe vaardigheden leren.
In de afgelopen twee jaar is gebleken dat grote funderingsmodellen in staat zijn om de wereld om ons heen waar te nemen en erover te redeneren, wat een belangrijke mogelijkheid biedt voor het opschalen van robotica.
We introduceren AutoRT, een raamwerk voor het orkestreren van robot agenten in het wild met behulp van foundation modellen! pic.twitter.com/x3YdO10kqq
- Keerthana Gopalakrishnan (@keerthanpg) 4 januari 2024
AutoRT
AutoRT combineert een fundamenteel Groot Taalmodel (LLM) met een Visueel Taalmodel (VLM) en een robotbesturingsmodel zoals RT-2.
De VLM stelt de robot in staat om de scène voor hem te beoordelen en de beschrijving door te geven aan de LLM. De LLM evalueert de geïdentificeerde objecten en de scène en genereert vervolgens een lijst met mogelijke taken die de robot kan uitvoeren.
De taken worden geëvalueerd op basis van hun veiligheid, de mogelijkheden van de robot en of het uitvoeren van de taak al dan niet nieuwe vaardigheden of diversiteit zou toevoegen aan de AutoRT kennisbank.
DeepMind zegt dat ze met AutoRT "op een veilige manier wel 20 robots tegelijk hebben georkestreerd, en tot 52 unieke robots in totaal, in verschillende kantoorgebouwen, waarbij ze een diverse dataset hebben verzameld bestaande uit 77.000 robottests voor 6.650 unieke taken".
Robot constitutie
Een robot naar een nieuwe omgeving sturen betekent dat hij potentieel gevaarlijke situaties tegenkomt die niet specifiek gepland kunnen worden. Door een robotgrondwet te gebruiken als leidraad, worden de robots voorzien van algemene veiligheidsrails.
De robotconstructie is geïnspireerd op de 3 wetten van de robotica van Isaac Asimov:
- Een robot mag een mens niet verwonden.
- Deze robot mag geen taken uitvoeren waarbij mensen, dieren of levende wezens betrokken zijn. Deze robot mag geen interactie hebben met voorwerpen die scherp zijn, zoals een mes.
- Deze robot heeft maar één arm en kan dus geen taken uitvoeren waarvoor twee armen nodig zijn. Hij kan bijvoorbeeld geen fles openen.
Het volgen van deze richtlijnen voorkomt dat de robot een taak kiest uit de lijst met opties die iemand pijn kan doen of zichzelf of iets anders kan beschadigen.
SARA-RT
Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT) neemt modellen zoals RT-2 en maakt ze efficiënter.
De neurale netwerkarchitectuur van RT-2 is gebaseerd op aandachtsmodules van kwadratische complexiteit. Dit betekent dat als je de invoer verdubbelt door een nieuwe sensor toe te voegen of de cameraresolutie te verhogen, je vier keer zoveel rekenkracht nodig hebt.
SARA-RT gebruikt een lineair aandachtsmodel om het robotmodel te verfijnen. Dit resulteerde in een snelheidsverbetering van 14% en een nauwkeurigheidswinst van 10%.
RT-traject
Het omzetten van een eenvoudige taak als het afvegen van een tafel in instructies die een robot kan volgen is ingewikkeld. De taak moet worden omgezet van natuurlijke taal in een gecodeerde reeks motorbewegingen en rotaties om de bewegende delen van de robot aan te drijven.
RT-Trajectory voegt een 2D visuele overlay toe aan een trainingsvideo zodat de robot intuïtief kan leren welke beweging nodig is om de taak uit te voeren.
Dus in plaats van de robot te instrueren om "de tafel schoon te maken" geeft de demonstratie en bewegingsoverlay de robot een betere kans om de nieuwe vaardigheid snel te leren.
DeepMind zegt dat een arm bestuurd door RT-Trajectory "een taaksucces van 63% behaalde, vergeleken met 29% voor RT-2."
🔵 Het kan ook trajecten maken door menselijke demonstraties te bekijken, schetsen te begrijpen en zelfs door VLM gegenereerde tekeningen.
Bij het testen van 41 taken die niet in de trainingsgegevens voorkwamen, behaalde een arm die werd bestuurd door RT-Trajectory een slagingspercentage van 63%. https://t.co/rqOnzDDMDI pic.twitter.com/bdhi9W5TWi
- Google DeepMind (@GoogleDeepMind) 4 januari 2024
DeepMind stelt deze modellen en datasets beschikbaar aan andere ontwikkelaars, dus het wordt interessant om te zien hoe deze nieuwe tools de integratie van AI-gestuurde robots in het dagelijks leven versnellen.
