Humanoid Robot Olympics: Tackling Everyday Chores
J’ai été un peu déçu par les Jeux mondiaux de robots humanoïdes organisés en Chine.1 Aussi amusant que la vraie vie Basculez-les, chaussettes-les, robots c’est ce que les gens vraiment se soucier est les robots font leurs corvées. C’est pourquoi les vidéos de pliage de linge robotisé sont si populaires : nous ne savions pas comment faire cela il y a encore quelques années. Et c’est certainement quelque chose que les gens veulent ! Mais comme cet article si bien articulé, le pliage de base du linge est dans une situation idéale compte tenu des techniques dont nous disposons actuellement. On pourrait avoir l’impression que si nos techniques d’IA peuvent plier le linge, elles peuvent peut-être faire n’importe quoi, mais ce n’est pas vrai, et nous allons devoir inventer de nouvelles techniques pour qu’elles soient vraiment polyvalentes et utiles.
C’est dans cet esprit que je lance un défi aux roboticiens : voici mon Événements olympiques humanoïdes. Chaque événement nous obligera à repousser les limites de l’état de l’art et à débloquer de nouvelles capacités en matière de manipulation robotique. Je mettrai à jour mon sous-stack au fur et à mesure que les gens franchiront ces étapes et j’enverrai de véritables médailles aux gagnants.
État actuel de l’art
Afin d’expliquer pourquoi chacun de ces défis repousse l’état de l’art en matière de manipulation robotique, parlons d’abord de ce qui fonctionne actuellement. Ce que je vois fonctionner, c’est apprendre de la démonstration. Généralement, les gens utilisent des interfaces de marionnettes. Le plus courant semble être deux copies du robot afin qu’un humain puisse saisir et déplacer l’une d’elles pendant que l’autre suit, ou un casque de réalité virtuelle avec des contrôleurs pour le suivi des mains. Ils enregistrent ensuite une activité de 10 à 30 secondes des centaines de fois. À partir de ces données, un réseau neuronal est formé pour imiter ces exemples. Cette technique a débloqué des tâches comportant des étapes quelque peu chaotiques (comme tirer un coin d’une serviette pour la mettre à plat) ou ayant un espace d’état élevé (comme la façon dont une serviette peut être regroupée de multiples façons différentes).
En pensant à cette méthode de formation des robots à faire des choses, il devrait être clair quelles sont certaines des limites. Chacun de ces phénomènes comporte des exceptions, mais ensemble, ils forment une tendance générale.
- Pas de retour de force au niveau des poignets.2 Le robot ne peut fonctionner qu’aussi bien que l’humain qui le téléopère, mais nous ne disposons pas encore de bons moyens standardisés pour transmettre des informations de force à haute résolution au téléopérateur humain.
- Contrôle limité des doigts.3 Il est difficile pour le téléopérateur (et pour un modèle de base) de voir et de contrôler tous les doigts d’un robot avec beaucoup plus de finesse que de simplement les ouvrir et les fermer.
- Aucun sens du toucher.4 Les mains humaines regorgent de capteurs. Se rapprocher de ce type de détection par les mains d’un robot d’une manière utilisable par un téléopérateur humain n’est actuellement pas possible.
- Précision moyenne.5 D’après les vidéos que j’ai vues, je pense que nous avons une précision d’environ 1 à 3 cm pour les tâches.
Maintenant, place aux événements !
Événement 1 : Portes
Événement 2 : Blanchisserie
Événement 3 : Outils
Événement 4 : Manipulation du bout des doigts
Événement 5 : Manipulation humide
Événement 1 : Portes
Des choses comme les portes sont délicates en raison des forces asymétriques : vous devez saisir et tourner la poignée ou le bouton assez fort, mais si vous tirez fort en dehors de l’arc de la porte, vous avez tendance à glisser. De plus, franchir une porte nécessite une manipulation du corps entier, ce qui est plus que ce que j’ai encore vu de qui que ce soit.
Médaille de bronze : entrer dans une porte coulissante à bouton rond
Benjie Holson
Je pense que c’est très proche de l’état de l’art (ou peut-être que c’est déjà arrivé et que je ne l’ai pas vu). Je m’attends à ce que cette médaille soit réclamée d’ici décembre.
Médaille d’argent : Entrée dans une porte push à fermeture automatique avec poignée à levier
Benjie Holson
L’ajout d’une fermeture automatique rend cela beaucoup plus difficile en raison de la force impliquée, bien que la poignée à levier soit sans doute plus facile (je ne vois tout simplement pas beaucoup de portes à fermeture automatique à bouton rond).6
Médaille d’or : Accès à une porte à tirette à fermeture automatique avec poignée à levier
Benjie Holson
Le combat de boss des portes.7 Vous devez soit utiliser un deuxième membre pour empêcher la porte de se refermer, soit franchir la porte assez rapidement pour utiliser la dynamique.
Événement 2 : Blanchisserie
Nous commençons tout juste à faire la lessive.
Médaille de bronze : plier un t-shirt à l’envers
Benjie Holson
C’est probablement faisable en utilisant les techniques dont nous disposons actuellement, mais il s’agit d’une tâche à plus long terme et peut nécessiter des actions délicates à deux mains pour tirer la chemise sur le côté droit.8
Médaille d’argent : Retourner une chaussette
Benjie Holson
Je pense que l’insertion de la main et l’action de pincer l’intérieur de la chaussette constituent de nouveaux défis intéressants.
Médaille d’or : accrochez une chemise pour homme
Benjie Holson
La chemise de taille moyenne commence déboutonnée avec une manche à l’envers. Il doit finir correctement sur le cintre avec la manche fixée et au moins un bouton boutonné. Je pense que celui-ci aura lieu dans 3 à 10 ans, à la fois parce que les boutons sont très durs et parce qu’il sera difficile d’obtenir une main forte et adroite, suffisamment petite pour tenir dans une manche.
Événement 3 : Outils
Les humains sont des créatures technologiques et, aussi utiles que soient nos mains, nous les utilisons principalement pour tenir et manipuler des outils. Ce défi consiste à développer la force et la dextérité nécessaires pour utiliser des outils de base.
Médaille de bronze : Nettoyant pour vitres et essuie-tout
Benjie Holson
La bouteille de liquide de nettoyage pour vitres est très indulgente en termes de façon dont vous la saisissez, mais vous devez articuler indépendamment un doigt, et le doigt doit être assez fort pour que le liquide puisse être pulvérisé.9
Médaille d’argent : sandwichs au beurre de cacahuète
Benjie Holson
Le défi ici est de prendre un couteau, puis d’ajuster la prise pour qu’elle soit suffisamment solide et stable pour ramasser et étaler le beurre de cacahuète. Les humains utilisent une « bonne maîtrise des outils » pour toutes sortes d’activités, mais c’est très difficile pour les préhenseurs de robots.10
Médaille d’or : utilisez une clé
Benjie Holson
Un porte-clés contenant au moins 2 clés et un porte-clés est déposé dans la paume/la pince d’attente du robot.. Sans poser les clés, alignez, insérez et tournez la bonne clé dans une serrure. Cela nécessite une manipulation manuelle très difficile, ainsi qu’une interaction énergique de haute précision.
Événement 4 : Manipulation du bout des doigts
Nous, les humains, effectuons toutes sortes de manipulations avec la main en utilisant la structure de nos mains pour manipuler les objets que nous tenons.
Médaille de bronze : Rouler des chaussettes assorties
Benjie Holson
Nécessite de la dextérité et de la précision, mais pas beaucoup de force.
Médaille d’argent : Utilisez un sac à crottes de chien
Benjie Holson
Lorsque j’utilise un sac pour chien, je dois faire une action de glissement entre le bout des doigts pour séparer l’ouverture du sac, ce qui est une interaction puissante délicate ainsi qu’un mouvement dont je ne suis même pas sûr que la plupart des mains de robots soient capables. Il est également difficile d’arracher un seul sac plutôt que de retirer une grande et longue bobine du support, si vous choisissez d’en utiliser une.11
Médaille d’or : Peler une orange
Benjie Holson
Réalisé sans outils externes. C’est très délicat : des actions du bout des doigts à haute force mais de haute précision.
Événement 5 : Manipulation humide
Si vous vous asseyez et écrivez ce que vous attendez d’un robot qu’il fasse pour vous, de nombreuses tâches finissent par être plutôt difficiles. Les robots n’aiment généralement pas être mouillés, mais nous devrons changer cela si nous voulons qu’ils soient propres pour nous. Et les objets mouillés peuvent être difficiles à saisir et à utiliser.
Médaille de bronze : Essuyez un comptoir avec une éponge
Benjie Holson
Légèrement humide, mais avec un risque excitant de mettre toute la main dans l’eau si vous ne faites pas attention. Nécessite probablement au moins des mains résistantes aux éclaboussures (ou tout un tas de pièces de rechange).
Médaille d’argent : Nettoyez le beurre de cacahuète de votre manipulateur
Benjie Holson
Celui-ci suit naturellement celui du sandwich. De l’eau partout. Cela semble être une compétence importante à acquérir après quelques heures de collecte de données d’entraînement sur la tâche de nettoyage des crottes de chien.
Médaille d’or : Utilisez une éponge pour laver la graisse d’une poêle dans un évier
Benjie Holson
De l’eau, du savon, de la graisse et une tâche désagréable que personne ne veut accomplir.
Termes et conditions
Pour être éligible, un robot manipulateur à usage général fonctionnant de manière autonome doit démontrer la réussite de sa tâche dans une vidéo en temps réel sans coupures. Vous avez droit à un maximum de 10 fois le temps que j’ai mis pour effectuer chaque tâche (une tâche de 4 secondes peut prendre jusqu’à 40 secondes à votre robot). Je me réserve le droit d’être arbitraire en décidant si les choses ne se déroulent pas dans l’esprit du défi. Le premier robot à atteindre cet objectif remporte le prix !
Pour réclamer votre médaillon, envoyez un e-mail à bmholson+olympics@gmail.com avec une adresse à laquelle je peux l’expédier. Si vous me donnez une photo de votre robot portant une médaille, je serai chatouillé en rose. J’accepterai également les futurs challengers qui seront au moins 25 % plus rapides que le vainqueur actuel. Bonne chance et que les chances soient toujours en votre faveur.
Merci à Jeff Bingham pour ses conseils, sa vérification des faits et ses superbes vidéos de robots. Et merci à ma patiente épouse d’avoir passé une heure à me filmer en train de faire des bêtises dans un costume idiot.
Remarques
1 Pour autant que je sache, le kickboxing n’était que le mini-robot humanoïde Unitree, et tout le monde avait le même code en cours d’exécution, alors… je suppose que ça a gagné ?
2 TRI propose des trucs plutôt sympas avec le contrôle de la force à l’aide d’un gros appareil d’entraînement.
3 L’Optimus de Tesla dispose de 22 degrés de liberté grâce à des entraînements par câble (car vous ne pouvez pas tenir ces moteurs dans une main). En 2008, j’ai travaillé sur ce robot qui avait également 22 degrés de liberté et le contrôler était incroyablement difficile (tout comme garder tous les câbles correctement tendus). L’autre main était une grosse pince à deux doigts que j’ai fini par utiliser pour la plupart des tâches téléop.
4 Meta a travaillé avec des systèmes de vision intégrés aux doigts qui semblent sympas.
5 Il s’agit probablement plus d’une limitation de précision de la téléopération que d’une limitation du modèle. Voici une vidéo de Generalist Robotics effectuant des tâches de précision inférieure au cm. J’aime le fait que les bâtons de hockey soient devenus l’outil traditionnel pour « gâcher un robot », même pour des choses ridicules comme celle-ci.
6 Oui, je l’ai porté sur mon lieu de travail pour pouvoir visionner cette vidéo. Vous êtes les bienvenus.
7 J’ai programmé (non formé) un manipulateur mobile à usage général pour passer à travers une porte à fermeture automatique, mais cela a pris plus de 4 minutes (disqualifié pour avoir pris trop de temps) et a nécessité un arrêt de porte spécial. De plus, la vidéo n’est pas publique (également disqualifiée). De plus, c’est vraiment ringard d’organiser un concours et de s’attribuer l’or avant même qu’il ne commence.
8 Le t-shirt commence entièrement à l’envers dans une liasse. Finitions assez pliées, à l’endroit.
9 Vous devez vaporiser 3 bonnes pulvérisations sur la fenêtre et les essuyer avec du papier absorbant pour qu’il n’y ait pas de vilaines traces. Les serviettes en papier commencent sur le rouleau d’essuie-tout, non pré-déchirées et pré-ouatinées.
10 Le pot de beurre de cacahuète commence et se termine fermé. Le sandwich doit être coupé en deux. (Les coupes triangulaires ou rectangulaires sont toutes deux acceptables, même si votre enfant de trois ans pourrait ne pas être d’accord).
11 Les fausses crottes sont autorisées. Le sac commence sur le rouleau mais peut être placé dans un support de sac pour chien standard, tenu par le robot.
Cet article a été initialement publié sur General Robots, le sous-pile de Benjie Holson sur la création d’une entreprise de robots à usage général.
À partir des articles de votre site
Articles connexes sur le Web
