Microsoft teste ChatGPT pour contrôler les robots

Vidéo Microsoft, qui s’est engagé à un investissement “pluriannuel de plusieurs milliards de dollars” dans OpenAI, est tellement obsédé par les grands modèles de langage comme ChatGPT qu’il voit des logiciels aussi avisés simplifier la façon dont nous communiquons avec les robots.

ChatGPT est un grand modèle de langage (LLM) formé sur l’ensemble de données OpenAI GPT (Generative Pre-trained Transformer), qui se compose de texte extrait du Web et d’autres sources. Associée à une interface de chat, la capacité du modèle à répondre aux questions de manière semi-cohérente, mais pas toujours précise, lui a valu une place dans le moteur de recherche Bing de Microsoft et a fait entendre que la domination de la publicité, du jeu SEO, du paiement- La recherche Google appuyée touche peut-être enfin à sa fin.

Insuffisamment occupé à éteindre les incendies de la fusion mentale de l’IA de Bing, Microsoft propose maintenant ChatGPT comme un moyen d’aider les gens à diriger des robots dans le monde physique.

“Notre objectif avec cette recherche est de voir si ChatGPT peut penser au-delà du texte et raisonner sur le monde physique pour aider aux tâches robotiques”, a déclaré la société dans un article lundi. “Nous voulons aider les gens à interagir plus facilement avec les robots, sans avoir besoin d’apprendre des langages de programmation complexes ou des détails sur les systèmes robotiques.”

À cette fin, les chercheurs de Redmond ont publié PromptCraft, qui est décrit comme une plate-forme open source collaborative pour partager la meilleure façon de formuler les requêtes et les commandes LLM aux robots.

Il s’avère que vous ne pouvez pas aller directement à “Ouvrez les portes de la baie de pod, s’il vous plaît, Hal”, si vous interagissez avec ChatGPT en tant que canal de commande vocale pour un drone. Vous devez planter le décor pour le modèle. Ça commence quelque chose comme ça :

Et il y a des paramètres de navigation importants qui doivent être spécifiés. Mais après une certaine préparation, vous pouvez arriver au point où vous pouvez converser avec ChatGPT et lui faire diriger un drone pour vous trouver un verre dans l’environnement environnant. Ou il peut produire le code Python qui, s’il n’y a pas d’erreurs, permettra au drone de faire vos enchères.

Vidéo Youtube

“ChatGPT déverrouille un nouveau paradigme robotique et permet à un utilisateur (potentiellement non technique) de s’asseoir sur la boucle, fournissant des commentaires de haut niveau au grand modèle de langage (LLM) tout en surveillant les performances du robot”, explique Microsoft. “En suivant notre ensemble de principes de conception, ChatGPT peut générer du code pour des scénarios robotiques.”

En d’autres termes, le même type de code pas nécessairement correct produit par Github Copilot pourrait être transmis directement à un robot via ChatGPT pour l’aider à accomplir une mission spécifique.

Sai Vemprala, Rogerio Bonatti, Arthur Bucker et Ashish Kapoor, de Microsoft Autonomous Systems and Robots Research Group, décrivent leur tentative de diriger des robots via ChatGPT dans un document de recherche [PDF] intitulé “ChatGPT pour la robotique : principes de conception et capacités de modèle”.

Le projet définit une API de haut niveau que ChatGPT peut comprendre et la mapper à des fonctions de robot de niveau inférieur. Par la suite, ils ont rédigé des invites textuelles pour ChatGPT décrivant les objectifs de la tâche, spécifiant les fonctions disponibles et définissant les contraintes de la tâche.

ChatGPT a ensuite répondu en générant un code applicable à l’appareil pour atteindre l’objectif de simulation défini. L’idée est qu’une personne conversant avec ChatGPT peut tester les directives du robot jusqu’à ce qu’elles fonctionnent correctement.

Les boffins de Microsoft donnent l’impression que ChatGPT est capable de “raisonnement spatio-temporel”, basé sur sa capacité à contrôler un robot avec une caméra, afin qu’il puisse utiliser des capteurs visuels pour attraper un ballon de basket.

“Nous voyons que ChatGPT est capable d’utiliser de manière appropriée les fonctions API fournies, de raisonner sur l’apparence de la balle et d’appeler les fonctions OpenCV pertinentes, et de commander la vitesse du robot en fonction d’un contrôleur proportionnel”, expliquent-ils dans l’article.

Un raisonnement de ce genre – avoir un modèle de bon sens du monde – rend beaucoup plus facile pour les robots de fonctionner efficacement dans un environnement physique, dit-on. L’industrie des véhicules autonomes n’en est pas encore là et ChatGPT non plus, semble-t-il.

Pas plus tard que cette semaine, deux chercheurs de l’Université de Californie du Sud, Zhisheng Tang et Mayank Kejriwal, ont publié un article via ArXiv contestant la capacité de ChatGPT et DALL•E 2 à faire des déductions sensées sur le monde.

L’article, intitulé “Une évaluation pilote de ChatGPT et DALL-E 2 sur la prise de décision et le raisonnement spatial”, conclut que les deux modèles raisonnent de manière incohérente.

En ce qui concerne ChatGPT, ils ont constaté que, “bien qu’il démontre un certain niveau de prise de décision rationnelle, bon nombre de ses décisions violent au moins un des axiomes, même dans des constructions raisonnables de préférences, de paris et d’incitations à la prise de décision”. Et parfois, ont-ils dit, ChatGPT prend la bonne décision pour de mauvaises raisons.

Les boffins de Microsoft reconnaissent que ChatGPT a des limites et ils notent que la sortie du modèle ne doit pas être appliquée à un robot sans contrôle.

“Nous soulignons que ces outils ne devraient pas avoir le contrôle total du pipeline robotique, en particulier pour les applications critiques pour la sécurité”, déclarent-ils dans leur article. “Étant donné la propension des LLM à générer éventuellement des réponses incorrectes, il est assez important d’assurer la qualité de la solution et la sécurité du code avec une supervision humaine avant de l’exécuter sur le robot.” ®