Montrez-le au robot une fois — de trois à douze secondes — et il réussit 59 fois sur 100 sans le moindre entraînement

Generalist AI a publié GEN-1.5 le 19 août. Ici, la démonstration n'est pas une donnée d'entraînement : c'est l'instruction elle-même. Un clip de trois à douze secondes montrant quelqu'un accomplir la tâche — filmé par une personne tenant des pinces, ou par le robot lui-même — est chargé dans la fenêtre de contexte de trente secondes du modèle, et le robot tente alors la tâche sans aucune mise à jour de gradient ni réglage fin. Sur dix travaux variés, dont ouvrir un bocal, ouvrir la fermeture éclair d'une trousse et sortir de l'argent d'un porte-monnaie, cette approche à démonstration unique a donné 59 pour cent de réussite en moyenne, avec un écart d'une dizaine de points. Dix pas de gradient sur cinq minutes de données ont porté le chiffre à 83 pour cent. Le modèle ingère de la vidéo aux côtés de données de capteurs, de langage et de position corporelle, et émet des commandes de mouvement cent fois par seconde. L'entreprise affirme que les aptitudes exhibées — passer de la simulation au réel, manier des outils inconnus, contourner des obstacles, travailler à deux bras — n'ont pas été entraînées en tant que telles et ont émergé de huit mois de préentraînement continu sur l'interaction physique. Ni poids ni produit n'ont été annoncés.

✓ Vérifié · 3 sources

Actus liées