Cette IA open source devine où un objet va bouger avant qu'il ne bouge

Pendant que tout le monde a les yeux rivés sur les prochains gros lancements de modèles, un petit laboratoire de recherche vient de publier une avancée qui pourrait avoir plus d'impact concret sur la robotique que n'importe quel chatbot. L'Allen Institute for AI (Ai2) a mis en open source MolmoMotion, un modèle capable de prédire, en trois dimensions, comment un objet va se déplacer dans les prochaines secondes, avant même que le mouvement ne commence.

Le principe est simple à comprendre et redoutablement utile. On donne au modèle une image extraite d'une vidéo, quelques points marqués en 3D sur un objet, et une instruction en langage naturel du type "déplacer et faire pivoter le bol". MolmoMotion calcule alors la trajectoire future de ces points dans l'espace réel. Deux variantes cohabitent : une version qui prédit les coordonnées pas à pas pour plus de précision, et une autre qui excelle quand plusieurs futurs sont plausibles à la fois.

Les retombées concrètes se voient déjà en robotique. Une fois affiné sur des données réelles, MolmoMotion fait grimper le taux de réussite sur des tâches de placement d'objets de 56 % à plus de 76 %, tout en apprenant nettement plus vite: là où un modèle classique a besoin de 12 000 étapes d'entraînement pour atteindre une précision donnée sur un robot physique, MolmoMotion y parvient en seulement 2 000. Les mêmes trajectoires 3D servent aussi à guider des générateurs de vidéo, produisant des mouvements d'objets plus réalistes et plus fidèles à ce que décrit le texte.

Ce type de publication, discrète comparée aux annonces tonitruantes des géants du secteur, rappelle qu'une bonne partie des progrès qui rendront les robots réellement utiles au quotidien ne viendra pas d'un modèle de langage plus gros, mais d'une compréhension plus fine du mouvement et de la physique du monde réel. Ai2 donne à toute la communauté de quoi construire la prochaine génération de robots capables d'anticiper.