Forskare vid Googles DeepMind har nått en milstolpe inom robotik genom att framgångsrikt träna 20 tum långa humanoida robotar att spela fotbollsmatcher en mot en.
Deras studiesom publicerades i Science Robotics, beskriver hur de använde djup förstärkningsinlärning (RL) för att lära robotarna komplexa rörelse- och spelfärdigheter.
De kommersiellt tillgängliga Robotis OP3-robotar lärde sig att springa, sparka, blockera, resa sig efter fall och göra mål - allt utan någon manuell programmering.
Istället har AI-agenter som styr robotarna förvärvat dessa förmågor genom att pröva sig fram i simulerade miljöer, styrda av ett belöningssystem.
Så här fungerar det robotiserade fotbollssystemet:
- Först utbildade de separata neurala nätverk som kallas "skill policies" för grundläggande rörelser som att gå, sparka och resa sig upp. Varje färdighet lärdes in i en fokuserad miljö som belönade roboten för att den behärskade den specifika förmågan.
- Med hjälp av en teknik som kallas policydestillation sammanfördes sedan de enskilda kompetenspolicyerna till ett enda övergripande policynätverk. Denna enhetliga policy kunde aktivera lämplig kompetens beroende på situationen.
- Forskarna optimerade sedan masterpolicyn ytterligare genom självspel, där roboten spelade simulerade matcher mot tidigare versioner av sig själv. Denna iterativa process ledde till kontinuerliga förbättringar av strategi och spel.
- För att förbereda policyn för användning i verkligheten randomiserades den simulerade träningsmiljön med avseende på faktorer som friktion och robotens massfördelning. Detta bidrog till att policyn blev mer robust mot fysiska variationer.
- Efter att ha tränat uteslutande i simulering laddades den färdiga policyn slutligen upp till riktiga OP3-robotar, som sedan spelade fysiska fotbollsmatcher utan att behöva finjusteras ytterligare.
För att vara ärlig måste du se det för att tro det, så titta Populärvetenskap's videor nedan.
Resultatet är, som du kan se, ganska anmärkningsvärt - dynamiska och smidiga, snurrar för att ändra riktning och samordnar sina lemmar för att sparka och balansera samtidigt.
DeepMind beskriver sina framgångar i artikeln: "Den resulterande agenten uppvisar robusta och dynamiska rörelsefärdigheter, såsom snabb fallåterhämtning, gång, vändning och spark, och den övergår mellan dem på ett smidigt och effektivt sätt. Den lärde sig också att förutse bollens rörelser och blockera motståndarens skott."
Jämfört med en mer standardmässig regelbaserad policy som programmerats specifikt för OP3, gav DeepMinds RL-metod en mycket överlägsen prestanda.
De AI-tränade robotarna gick 181% snabbare, vände sig 302% snabbare, återhämtade sig från fall 63% snabbare och sparkade bollen 34% hårdare.
Tillsammans med DeepMinds framsteg inom AI-optimerad fotbollsträning i samarbete med Liverpool FC, fotboll, är vi förmodligen på väg mot en mer digitaliserad era inom sport.
Det är förmodligen bara en tidsfråga innan vi får en Robot League där anpassade robotar möts i högoktaniga tävlingssporter.
