Facebook AI Research (FAIR) présente une évolution dans la formation à la robotique IA : Habitat 3.0.
FAIR vise à combler le fossé entre l'IA et le monde physique en construisant des agents d'IA capables de comprendre leur environnement et de collaborer avec les humains.
Habitat 3.0 sert de terrain d'entraînement virtuel pour la construction les agents d'intelligence artificielle incarnésL'objectif est de permettre aux robots et aux humains virtuels d'accomplir des tâches en coopération dans un environnement numérique.
Nous annonçons aujourd'hui Habitat 3.0, Habitat Synthetic Scenes Dataset et HomeRobot - trois avancées majeures dans le développement d'agents d'intelligence artificielle incarnés et sociaux, capables de coopérer avec les humains et de les assister dans leurs tâches quotidiennes.
Plus de détails sur ces annonces ➡️ https://t.co/WGSjkkyQx3 pic.twitter.com/GdU54AD0qg
- AI at Meta (@AIatMeta) 20 octobre 2023
L'entraînement des robots dans le monde réel peut s'avérer difficile, long et potentiellement dangereux. Isaac Sim de Nvidia est un système de formation virtuelle bien établi pour la robotique industrielle, mais Meta's Habitat est davantage axé sur les environnements domestiques.
Les robots peuvent commettre des erreurs sans conséquences réelles en s'entraînant dans un environnement simulé et non destructif comme Habitat 3.0.
Sous le capot d'Habitat 3.0
Les itérations précédentes d'Habitat ont jeté les bases de la navigation et de l'interaction des robots dans un environnement numérique semblable à celui d'une maison.
Habitat 3.0 introduit toutefois un modèle collaboratif, intégrant à la fois des robots et des avatars humanoïdes pour simuler des scénarios d'interaction homme-robot dans le monde réel.
FAIR précise que cette nouvelle plateforme ne se limite pas au mouvement et à l'interaction - elle prend également en compte les détails visuels et sémantiques des tâches du monde réel, en utilisant des avatars humanoïdes aux mouvements et aux comportements naturels.
Ces avatars peuvent être contrôlés à la fois par des algorithmes prédéfinis et par des données humaines réelles.
La nouvelle plateforme Habitat de FAIR permet :
- Collaboration homme-robot dans des environnements domestiques simulés. Ici, les robots peuvent apprendre à travailler aux côtés d'avatars humains, en maîtrisant des tâches telles que le nettoyage de la maison.
- Interactions réalistes avec des avatars humains, dotés de mouvements et d'une apparence naturels, afin d'imiter les interactions du monde réel.
- Les évaluations "human-in-the-loop", où de vrais humains peuvent interagir et contrôler ces avatars via diverses interfaces, y compris des claviers, des souris et même des casques VR.
Selon Meta, la plateforme offre plusieurs avantages par rapport aux méthodes conventionnelles de formation des robots :
- Apprentissage plus rapide pour les algorithmes de renforcement, ce qui permet de réaliser en quelques jours des expériences qui prendraient des années dans le monde réel.
- Adaptation rapide et transparente de l'environnement, éliminant les défis logistiques tels que le déplacement physique des robots.
- Un terrain d'essai plus sûr, garantissant que les modèles d'IA ne constituent pas une menace dans des scénarios réels.
Avec Habitat 3.0, FAIR a également publié le jeu de données sur les scènes synthétiques d'habitat (HSSD-200).
Cet ensemble de données comprend plus de 18 000 objets et offre aux robots un environnement d'entraînement plus authentique, qui reproduit fidèlement les scénarios du monde réel.
FAIR reconnaît que de véritables robots socialement intelligents devront comprendre les environnements dynamiques dans lesquels vivent les humains.
La prochaine phase de recherche s'appuiera sur les capacités d'Habitat 3.0 pour affiner les modèles d'IA afin d'améliorer la collaboration homme-robot.
