DeepMind trainiert Roboter-Fußballspieler, die kicken, angreifen und verteidigen können

Forscher von Googles DeepMind haben einen Meilenstein in der Robotik erreicht, indem sie 20 Zoll große humanoide Roboter erfolgreich auf ein Fußballspiel vorbereitet haben. 

Ihre StudieDie in Science Robotics veröffentlichte Studie beschreibt, wie sie den Robotern mithilfe von Deep Reinforcement Learning (RL) komplexe Fortbewegungs- und Spielfähigkeiten beibringen.

Die im Handel erhältlichen Robotis OP3-Roboter gelernt, zu rennen, zu kicken, zu blocken, von Stürzen aufzustehen und Tore zu schießen - und das alles ohne manuelle Programmierung.

Stattdessen erwarben die KI-Agenten, die die Roboter steuerten, diese Fähigkeiten durch Ausprobieren in simulierten Umgebungen, geleitet von einem Belohnungssystem.

So funktioniert der Fußballroboter:

1. Zunächst trainierten sie separate neuronale Netze, sogenannte "Skill Policies", für grundlegende Bewegungen wie Gehen, Treten und Aufstehen. Jede Fähigkeit wurde in einer konzentrierten Umgebung erlernt, in der der Roboter für die Beherrschung dieser speziellen Fähigkeit belohnt wurde.
2. Anschließend wurden die einzelnen Kompetenzrichtlinien mit Hilfe einer Technik namens Policy Distillation zu einem einzigen Master Policy Network zusammengeführt. Diese vereinheitlichte Richtlinie konnte je nach Situation die entsprechende Fähigkeit aktivieren.
3. Die Forscher optimierten die Master-Strategie dann weiter durch Selbstspiel, bei dem der Roboter simulierte Spiele gegen frühere Versionen von sich selbst bestritt. Dieser iterative Prozess führte zu kontinuierlichen Verbesserungen der Strategie und des Spielablaufs.
4. Um die Strategie für den realen Einsatz vorzubereiten, wurde die simulierte Trainingsumgebung in Bezug auf Faktoren wie Reibung und Massenverteilung des Roboters randomisiert. Dies trug dazu bei, dass die Strategie robuster gegenüber physikalischen Veränderungen wurde.
5. Nach dem ausschließlichen Training in der Simulation wurde die fertige Strategie auf reale OP3-Roboter hochgeladen, die dann ohne weitere Feinabstimmung physische Fußballspiele bestritten.

Um ehrlich zu sein, Sie müssen es sehen, um es zu glauben, also schauen Sie PopulärwissenschaftVideos unten.

Die Ergebnisse sind, wie Sie sehen können, bemerkenswert: dynamisch und wendig, drehend, um die Richtung zu ändern und die Gliedmaßen zu koordinieren, um gleichzeitig zu treten und zu balancieren.

DeepMind beschreibt den Erfolg in dem Papier: "Der resultierende Agent zeigt robuste und dynamische Bewegungsfähigkeiten, wie z.B. schnelles Fallen, Gehen, Drehen und Treten, und er wechselt zwischen diesen Fähigkeiten auf sanfte und effiziente Weise. Er hat auch gelernt, Ballbewegungen zu antizipieren und gegnerische Schüsse zu blockieren."

Im Vergleich zu einer regelbasierten Standardrichtlinie, die speziell für den OP3 programmiert wurde, lieferte der RL-Ansatz von DeepMind eine deutlich bessere Leistung.

Die KI-geschulten Roboter liefen 181% schneller, drehten sich 302% schneller, erholten sich 63% schneller von Stürzen und schossen den Ball 34% härter.

Zusammen mit den Fortschritten von DeepMind in KI-optimiertes Fußballtraining in Partnerschaft mit dem FC Liverpool, Fußball, gehen wir wahrscheinlich auf eine stärker digitalisierte Ära im Sport zu.

Es ist wahrscheinlich nur noch eine Frage der Zeit, bis wir eine Roboterliga bekommen, in der benutzerdefinierte Roboter in hochoktanigen Sportwettkämpfen gegeneinander antreten.