Onderzoekers van de ETH Zürich ontwikkelden een robotsysteem dat een echt doolhofspel kan oplossen met behulp van versterkingsleren.
Zoals beschreven in hun studie "Sample-Efficient Learning to Solve a Real-World Labyrinth Game Using Data-Augmented Model-Based Reinforcement Learning" (Efficiënt leren om een doolhofspel in de echte wereld op te lossen met behulp van gegevensgestuurd modelgebaseerd versterkingsleren). Deze AI-robot beheerste het doolhofspel BRIO in slechts vijf uur trainingsgegevens en overtrof daarmee alle bekende eerdere pogingen.
Het BRIO-labyrintspel, dat sommigen misschien wel kennen, is een test voor de fijne motoriek en het ruimtelijk redeneren waarbij spelers een stalen bal door een doolhof moeten navigeren door het speelveld te kantelen.
Ondanks de ogenschijnlijke eenvoud is het spel complex door de relatie tussen de bal en de muren, onregelmatigheden op het oppervlak en niet-lineaire dynamica van de besturingsknop. Deze uitdagingen maken het labyrint ideaal voor het toepassen en evalueren van geavanceerde leermethoden voor robots.
Het team van ETH Zürich, onder leiding van Thomas Bi en professor Raffaello D'Andrea, ontwikkelde een methode die efficiënte observaties uit het doolhof haalt met behulp van camerabeelden.
Het leerproces van de AI is gebaseerd op modelgebaseerd versterkingsleren, waarbij gebruik wordt gemaakt van een beloningsfunctie die wordt bepaald door de voortgang in het labyrint.
Na de training navigeerde de AI-robot met succes door het labyrint met een slagingspercentage van 76% en een gemiddelde voltooiingstijd van 15,73 seconden. Dit is iets beter dan het beste menselijke record van 15,95 seconden.
Hoe het onderzoek werkte
Het systeem gebruikt een camera om top-down beelden vast te leggen en daaruit cruciale gegevens te halen, zoals de positie van de bal en de lay-out van het labyrint. Machinaal leren technieken gespiegelde waarnemingen om de trainingsgegevens te verbeteren, waardoor meer diverse gegevens worden gegenereerd en de generalisatie wordt verbeterd.
Dit onderzoek betekent een grote stap voorwaarts in het toepassen van AI in dynamische, echte omgevingen. Het ETH-team is van plan om hun project te open-sourcen, omdat ze geloven dat hun systeem kan dienen als een waardevolle benchmark voor verder AI-onderzoek vanwege de lage ruimtevereisten, bescheiden kosten en eenvoudige hardwareopstelling.
Verdere bevindingen worden gepubliceerd op deze website, en je kunt hieronder een video bekijken over de intrigerende werking van het robotsysteem.
Een van de coauteurs van het onderzoek, professor Raffaello D'Andrea, zei: "We geloven dat dit het ideale testbed is voor onderzoek naar machine learning en AI in de echte wereld. Vóór CyberRunner konden alleen organisaties met grote budgetten en een op maat gemaakte experimentele infrastructuur onderzoek doen op dit gebied."
"Nu kan iedereen voor minder dan 200 dollar meedoen aan geavanceerd AI-onderzoek. Bovendien, als er eenmaal duizenden CyberRunners in de echte wereld zijn, zal het mogelijk zijn om grootschalige experimenten uit te voeren, waarbij het leren parallel gebeurt, op wereldwijde schaal. Het ultieme in Citizen Science!"
Het toepassen van geavanceerde AI-systemen op praktisch bruikbare robotsystemen is van enorm belang. Onderzoekers hebben onlangs AI gebruikt om een robot te bouwen die in staat is om autonoom produceren van een zuurstof katalysator uit gesteentemonsters, en DeepMind werkte samen aan een autonoom onderzoekslaboratorium in staat om verbindingen te ontdekken en te synthetiseren.
De AI-robot van ETH Zürich demonstreert het potentieel van geavanceerde AI-technieken bij het oplossen van echte uitdagingen en overbrugt de kloof tussen de theoretische mogelijkheden van AI en het praktische gebruik ervan in fysieke omgevingen.
In de toekomst zullen deze technologieën samenkomen om efficiënte, intelligente robotsystemen mogelijk te maken die autonoom complexe taken in het echte leven kunnen uitvoeren.
