Ni jailbreak ni compte développeur : ce projet pilote un vrai iPhone en lisant les pixels d'une fenêtre du Mac
phone-harness, publié le 7 août, avait rassemblé plus de 1 500 étoiles en cinq jours. Il permet à un modèle de langage de piloter un véritable iPhone sans jailbreak, sans Xcode et sans WebDriverAgent. L'astuce tient à la recopie d'iPhone de macOS Sequoia : l'outil capture cette fenêtre, y applique le cadriciel Vision fourni par Apple pour repérer le texte et ses coordonnées, puis envoie touches et frappes sous forme de CGEvents de bas niveau, avant de reprendre une capture pour vérifier que l'action a abouti. Les limites sont annoncées franchement : un seul téléphone à la fois, pas de gestes de pincement, pas de Face ID ni de flux caméra, la vidéo protégée par DRM s'affiche en noir, et l'OCR lit les mots mais pas les icônes sans libellé.
Pourquoi c'est importantAutomatiser un téléphone supposait jusqu'ici une gestion de flotte en entreprise ou un jailbreak. Il s'agit ici de quelques centaines de lignes bâties uniquement sur des fonctions qu'Apple livre déjà à tout possesseur de Mac, sous licence MIT. Cela déplace aussi la question de sécurité : l'agent n'appelle pas une API que l'on pourrait limiter ou auditer — c'est un doigt synthétique posé sur votre application bancaire déjà connectée, et la seule chose qui le sépare d'une erreur, c'est la capture d'écran qu'il prend ensuite.
Lire dans l'app — gratuit, en 9 langues
Actus liées
TikTok a glissé un chatbot d'achat dans la vidéo que vous regardez.2026-10-06Wikimédia soupçonne des agents d'OpenAI pour la panne de mai.
2026-10-06L'assistant de Meta tient une fiche horaire sur vos proches.
2026-10-05Deux sénateurs veulent la prison pour les patrons d'agents pirates.
2026-10-05Une commande rend l'interrupteur d'IA qu'Apple avait supprimé.
2026-10-05