Onderzoekers van Google's DeepMind hebben een mijlpaal bereikt in de robotica door met succes 20-inch lange humanoïde robots te trainen om één-op-één voetbalwedstrijden te spelen.
Hun onderzoekgepubliceerd in Science Robotics, beschrijft hoe ze deep reinforcement learning (RL) gebruikten om de robots complexe locomotie- en spelvaardigheden aan te leren.
De commercieel verkrijgbare Robotis OP3 robots leerde rennen, schoppen, blokken, opstaan na een val en doelpunten maken - allemaal zonder handmatige programmering.
In plaats daarvan verwierven AI-agenten die de robots besturen deze vaardigheden met vallen en opstaan in gesimuleerde omgevingen, geleid door een beloningssysteem.
Zo werkt het robotvoetbalsysteem:
- Eerst trainden ze afzonderlijke neurale netwerken genaamd "vaardigheidsbeleid" voor basisbewegingen zoals lopen, schoppen en opstaan. Elke vaardigheid werd geleerd in een gerichte omgeving die de robot beloonde voor het beheersen van die specifieke vaardigheid.
- Vervolgens werden met behulp van een techniek genaamd beleidsdistillatie de individuele vaardigheidsbeleidslijnen samengevoegd tot een enkel hoofdbeleidsnetwerk. Dit verenigde beleid kon de juiste vaardigheid activeren afhankelijk van de situatie.
- De onderzoekers optimaliseerden vervolgens het masterbeleid door zelf te spelen, waarbij de robot gesimuleerde wedstrijden speelde tegen eerdere versies van zichzelf. Dit iteratieve proces leidde tot voortdurende verbeteringen in strategie en gameplay.
- Om het beleid voor te bereiden op gebruik in de echte wereld, werd de gesimuleerde trainingsomgeving gerandomiseerd wat betreft factoren zoals wrijving en de verdeling van de robotmassa. Hierdoor werd het beleid robuuster voor fysieke variaties.
- Tot slot werd het voltooide beleid, na uitsluitend in simulatie te hebben getraind, geüpload naar echte OP3 robots, die vervolgens fysieke voetbalwedstrijden speelden zonder dat verdere fijnafstelling nodig was.
Om eerlijk te zijn moet je het zien om het te geloven, dus kijk goed Populaire Wetenschapvideo's hieronder.
De resultaten zijn, zoals je kunt zien, heel opmerkelijk - dynamisch en behendig, draaiend om van richting te veranderen en hun ledematen coördinerend om tegelijkertijd te schoppen en te balanceren.
DeepMind beschrijft hun succes in het artikel: "De resulterende agent vertoont robuuste en dynamische bewegingsvaardigheden, zoals snel valherstel, lopen, draaien en schoppen, en schakelt hiertussen op een soepele en efficiënte manier. Het heeft ook geleerd te anticiperen op balbewegingen en schoten van tegenstanders te blokkeren."
Vergeleken met een meer standaard, op regels gebaseerd beleid dat specifiek voor de OP3 was geprogrammeerd, leverde de RL-aanpak van DeepMind enorm superieure prestaties.
De door AI getrainde robots liepen 181% sneller, draaiden 302% sneller, herstelden 63% sneller van valpartijen en trapten 34% harder tegen de bal.
Samen met DeepMind's vooruitgang in AI-geoptimaliseerde voetbalcoaching in samenwerking met Liverpool FC, voetbal, stevenen we waarschijnlijk af op een zwaarder gedigitaliseerd sporttijdperk.
Het is waarschijnlijk slechts een kwestie van tijd voordat we een Robot League krijgen waarin aangepaste robots het tegen elkaar opnemen in supersporten.
