I ricercatori di DeepMind di Google hanno raggiunto una pietra miliare nella robotica, addestrando con successo robot umanoidi alti 20 pollici a giocare partite di calcio uno contro uno.
Il loro studiopubblicato su Science Robotics, illustra il modo in cui è stato utilizzato l'apprendimento per rinforzo profondo (RL) per insegnare ai robot complesse abilità di locomozione e di gioco.
I prodotti disponibili in commercio Robotis OP3 ha imparato a correre, calciare, bloccare, rialzarsi dalle cadute e segnare gol, il tutto senza alcuna programmazione manuale.
Invece, gli agenti AI che controllano i robot hanno acquisito queste abilità attraverso prove ed errori in ambienti simulati, guidati da un sistema di ricompense.
Ecco come funziona il sistema di calcio robotico:
- In primo luogo, hanno addestrato reti neurali separate, chiamate "politiche di abilità", per movimenti fondamentali come camminare, calciare e alzarsi. Ogni abilità è stata appresa in un ambiente mirato che premiava il robot per la padronanza di quella specifica abilità.
- Successivamente, utilizzando una tecnica chiamata distillazione delle politiche, le singole politiche delle abilità sono state unite in un'unica rete di politiche master. Questa politica unificata può attivare l'abilità appropriata a seconda della situazione.
- I ricercatori hanno poi ottimizzato ulteriormente la politica principale attraverso l'autogioco, in cui il robot ha giocato partite simulate contro versioni precedenti di se stesso. Questo processo iterativo ha portato a continui miglioramenti nella strategia e nella giocabilità.
- Per preparare la politica all'impiego nel mondo reale, l'ambiente di addestramento simulato è stato randomizzato in termini di fattori come l'attrito e la distribuzione della massa del robot. In questo modo la politica è diventata più robusta alle variazioni fisiche.
- Infine, dopo essersi allenati esclusivamente in simulazione, la politica finita è stata caricata sui robot OP3 reali, che hanno poi giocato partite di calcio fisiche senza bisogno di ulteriori messe a punto.
Per essere onesti, bisogna vederlo per crederci, quindi guardate Scienza popolarevideo di seguito.
I risultati, come potete vedere, sono notevoli: dinamici e agili, ruotano per cambiare direzione e coordinano gli arti per calciare e stare in equilibrio contemporaneamente.
DeepMind descrive il successo ottenuto nel documento: "L'agente risultante mostra abilità di movimento robuste e dinamiche, come il recupero rapido delle cadute, la camminata, la rotazione e i calci, e passa da un movimento all'altro in modo fluido ed efficiente. Ha anche imparato ad anticipare i movimenti della palla e a bloccare i tiri avversari".
Rispetto a una politica più standard basata su regole e programmata specificamente per l'OP3, l'approccio RL di DeepMind ha fornito prestazioni nettamente superiori.
I robot addestrati dall'intelligenza artificiale hanno camminato 181% più velocemente, si sono girati 302% più velocemente, si sono ripresi dalle cadute 63% più velocemente e hanno calciato la palla 34% più forte.
Insieme ai progressi di DeepMind in materia di Allenare il calcio ottimizzato dall'intelligenza artificiale in collaborazione con il Liverpool FC, il calcio, probabilmente ci stiamo dirigendo verso un'era più digitalizzata nello sport.
Probabilmente è solo una questione di tempo prima di avere una Robot League in cui i robot personalizzati si affrontano in sport competitivi ad alto numero di giri.
