LEBIGDATA.FR I.A, Cloud & Cybersécurité
Afin d’entraîner les robots humanoïdes avant de les déployer en entreprise ou dans votre logis, 1X a créé une IA générative capable de simuler le monde réel à la perfection. Elle se base sur des données collectées par des capteurs, et permet ainsi aux machines de s’entraîner dans des conditions authentiques pour apprendre à travailler !
Comment apprendre aux robots à agir dans le monde réel, sans pour autant courir le risque de les endommager ou de blesser les humains alentour ? C’est une question cruciale pour l’industrie des robots humanoïdes, qui s’apprête à entrer en phase de production de masse.
Pour nous être utiles au travail ou à la maison, ces machines bipèdes doivent apprendre à effectuer les mêmes tâches que nous. Toutefois, ceci requiert de l’entraînement, et les robots risquent de commettre des erreurs lors de leurs premières tentatives…
Un humanoïde pourrait par exemple tomber dans l’escalier en tentant de manipuler un colis, ou frapper un humain en déplaçant une poutre en métal sur un chantier.
Afin de remédier à ce problème, la startup 1X Technologies vient de développer un nouveau modèle d’IA générative permettant d’entraîner les robots… dans une simulation !
Annoncé sur le blog de 1X, ce modèle IA vise à permettre aux humanoïdes d’apprendre les « modèles de monde » afin de prédire la façon dont le monde change en réaction à leurs actions.
L’écart sim2real, principal point faible des simulations d’entraînement
L’utilisation d’environnements simulés est déjà monnaie courante dans le domaine de la robotique, car elle permet d’éviter les risques et le coût liés à l’entraînement des robots directement dans les environnements physiques.
Ainsi, les modèles de contrôle peuvent être entraînés dans le monde virtuel avant d’être déployés dans le monde réel. Toutefois, les différences entre la simulation et l’environnement physique peuvent poser problème.
Comme l’explique Eric Jang, vice-président de l’IA chez 1X Technologies, « les roboticiens créent généralement à la main des scènes qui sont des jumeaux numériques du monde réel ».
Ils utilisent également « des simulateurs de corps rigides comme Mujoco, Bullet et Isaac pour simuler leur dynamique ».
Cependant, « le jumeau numérique peut présenter des inexactitudes physiques et géométriques qui conduisent à un apprentissage dans un environnement et à un déploiement dans un autre ».
Ceci provoque le phénomène dit de « l’écart sim2real ». En guise d’exemple, Jang cite un modèle de porte téléchargé sur internet. Il est peu probable que ce modèle ait la même rigidité de ressort dans la poignée que la porte réelle sur laquelle vous testez le robot !
L’IA de 1X simule le monde réel à partir de données de capteurs
Pour éviter cet écart, le nouveau modèle de 1X apprend à simuler le monde réel en étant entraîné sur des données de capteurs brutes collectées directement à partir des robots.
En visionnant des milliers d’heures de vidéo et de données d’actionneurs collectées à partir des robots de la firme, le modèle peut analyser les observations actuelles du monde et prédire ce qui se passera si le robot effectue certaines actions.
Pour rappel, le Norvégien 1X a récemment dévoilé NEO : le premier robot humanoïde conçu pour le grand public, afin de vous aider à faire le ménage et les autres tâches domestiques.
Toutefois, les données pour ce modèle ont été collectées à partir de ses robots EVE, lorsqu’ils effectuaient différentes tâches de manipulation dans des bureaux ou des foyers et interagissaient avec des humains.
Comme Jang l’explique, « nous avons collecté toutes les données à nos différents bureaux 1X, et avons une équipe d’Opérateurs d’Androïdes qui nous aide à annoter et filtrer les données ».
En apprenant dans un simulateur directement à partir de données réelles, « les dynamiques devraient correspondre de façon plus fidèle au monde réel à mesure que les données d’interaction augmentent ».
Un modèle capable de prédire les réactions des objets
Ce modèle de monde est particulièrement utile pour simuler les interactions d’objets. Les vidéos partagées par 1X montrent que le modèle prédit avec succès des séquences de vidéo où le robot saisit des boîtes.
Il peut également prédire des interactions d’objets « non triviales » comme des corps rigides, des effets de chute d’objets, une observabilité partielle, des objets déformables comme des rideaux ou du linge ou des objets articulés tels que des portes, des tiroirs ou des chaises.
Certaines vidéos montrent même le modèle simulant des tâches complexes à long horizon avec des objets déformables, comme de plier des chemises.
Il simule également la dynamique des environnements, comme la façon d’éviter des obstacles pour garder une distance de sécurité avec les gens. C’est donc une simulation digne du monde réel, comme dans le film Matrix.
Néanmoins, les changements dans l’environnement demeurent un défi. Comme tous les simulateurs, le modèle génératif aura besoin d’être mis à jour à mesure que les environnements où le robot opère changent.
Les chercheurs estiment toutefois que la façon dont le modèle apprend à simuler le monde permettra de le mettre à jour plus facilement.
Ainsi, même si un écart sim2real peut survenir si les données d’entraînement du modèle génératif sont obsolètes, il suffira de le nourrir de données fraîches du monde réel pour le combler. Il ne sera pas nécessaire d’ajuster manuellement le simulateur de physique.
Un système inspiré par OpenAI Sora et les IA de vidéos
Ce nouveau système 1X s’inspire directement des IA génératives de vidéo comme OpenAI Sora ou Runway. Elles ont prouvé qu’avec les bonnes techniques et données d’entraînement, les modèles génératifs peuvent apprendre un modèle de monde et rester cohérents au fil du temps.
Cependant, alors que ces modèles sont conçus pour générer des vidéos à partir de texte, celui de 1X fait partie d’une nouvelle vague de systèmes génératifs pouvant réagir aux actions pendant la phase de génération.
Par exemple, les chercheurs de Google ont récemment utilisé une technique similaire pour entraîner leur modèle GameNGen capable de simuler le jeu vidéo DOOM et créer des niveaux interactifs en temps réel.
Ces modèles génératifs interactifs ouvrent de nouvelles possibilités pour l’entraînement de modèles de contrôle robotiques et les systèmes d’apprentissage par renforcement…
Malheureusement, les principaux défauts des IA génératives se retrouvent dans ce système présenté par 1X. N’étant pas propulsé par un simulateur de monde défini explicitement, le modèle peut parfois générer des situations irréalistes.
Dans certains exemples, il échoue parfois à prédire qu’un objet tombera. Celui-ci reste suspendu dans les airs. Dans d’autres cas, un objet disparaît d’une image à l’autre…
Une solution pour remédier à ce problème pourrait être de continuer à collecter davantage de données pour entraîner de meilleurs modèles. Comme OpenAI Sora et les autres IA de vidéos, ce type de modèle va continuer de s’améliorer au fil du temps !
Afin de contribuer à l’avancée de l’IA et de la robotique de façon globale, 1X a publié ses modèles et leurs poids sur GitHub à cette adresse. Un concours va aussi être organisé dans le but d’améliorer le système, avec des récompenses à la clé pour les gagnants…
Alors, que pensez-vous de cette approche ? Pensez-vous qu’il soit possible de simuler le monde réel à la perfection ? Partagez votre avis en commentaire !
Restez à la pointe de l’information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d’avance.
- Partager l'article :
