Investigadores de DeepMind, de Google, han logrado un hito en robótica al entrenar con éxito a robots humanoides de 20 pulgadas de alto para jugar partidos de fútbol uno contra uno.
Su estudiarpublicado en Science Robotics, detalla cómo utilizaron el aprendizaje por refuerzo profundo (RL) para enseñar a los robots complejas habilidades de locomoción y juego.
Los productos Robots Robotis OP3 aprendió a correr, dar patadas, bloquear, levantarse de las caídas y marcar goles, todo ello sin programación manual.
En su lugar, los agentes de IA que controlaban los robots adquirían estas habilidades por ensayo y error en entornos simulados, guiados por un sistema de recompensas.
Así funciona el sistema de fútbol robotizado:
- En primer lugar, entrenaron redes neuronales independientes denominadas "políticas de habilidades" para movimientos básicos como andar, dar patadas y levantarse. Cada habilidad se aprendía en un entorno específico que recompensaba al robot por dominar esa habilidad concreta.
- A continuación, mediante una técnica denominada destilación de políticas, las políticas de habilidades individuales se fusionaron en una única red de políticas maestras. Esta política unificada podía activar la habilidad adecuada en función de la situación.
- A continuación, los investigadores optimizaron aún más la política maestra mediante el juego automático, en el que el robot jugaba partidos simulados contra versiones anteriores de sí mismo. Este proceso iterativo permitió mejorar continuamente la estrategia y la jugabilidad.
- Para preparar la política para su despliegue en el mundo real, el entorno de entrenamiento simulado se aleatorizó en cuanto a factores como la fricción y la distribución de la masa del robot. Esto ayudó a que la política fuera más robusta frente a las variaciones físicas.
- Por último, tras entrenar exclusivamente en simulación, la política final se cargó en robots OP3 reales, que jugaron partidos de fútbol físicos sin necesidad de ajustes adicionales.
Para ser honesto, tienes que verlo para creerlo, así que mira Ciencia populara continuación.
Los resultados, como se puede ver, son bastante notables: dinámicos y ágiles, girando para cambiar de dirección y coordinando sus extremidades para dar patadas y mantener el equilibrio simultáneamente.
DeepMind describe su éxito en el documento: "El agente resultante exhibe habilidades de movimiento robustas y dinámicas, como recuperación rápida de caídas, caminar, girar y dar patadas, y realiza transiciones entre ellas de forma suave y eficiente. También aprendió a anticiparse a los movimientos del balón y a bloquear los tiros del rival."
En comparación con una política basada en reglas más estándar programada específicamente para el OP3, el enfoque RL de DeepMind ofreció un rendimiento muy superior.
Los robots entrenados con IA caminaban 181% más rápido, giraban 302% más rápido, se recuperaban de las caídas 63% más rápido y pateaban el balón 34% más fuerte.
Junto con los avances de DeepMind en Entrenamiento de fútbol optimizado por IA en asociación con el Liverpool FC, el fútbol, probablemente nos dirigimos hacia una era más fuertemente digitalizada en el deporte.
Probablemente sea sólo cuestión de tiempo que tengamos una Liga de Robots en la que robots personalizados se enfrenten en deportes de competición de alto octanaje.
