Ni jailbreak ni compte développeur : ce projet pilote un vrai iPhone en lisant les pixels d'une fenêtre du Mac
phone-harness, publié le 7 août, avait rassemblé plus de 1 500 étoiles en cinq jours. Il permet à un modèle de langage de piloter un véritable iPhone sans jailbreak, sans Xcode et sans WebDriverAgent. L'astuce tient à la recopie d'iPhone de macOS Sequoia : l'outil capture cette fenêtre, y applique le cadriciel Vision fourni par Apple pour repérer le texte et ses coordonnées, puis envoie touches et frappes sous forme de CGEvents de bas niveau, avant de reprendre une capture pour vérifier que l'action a abouti. Les limites sont annoncées franchement : un seul téléphone à la fois, pas de gestes de pincement, pas de Face ID ni de flux caméra, la vidéo protégée par DRM s'affiche en noir, et l'OCR lit les mots mais pas les icônes sans libellé.
Pourquoi c'est importantAutomatiser un téléphone supposait jusqu'ici une gestion de flotte en entreprise ou un jailbreak. Il s'agit ici de quelques centaines de lignes bâties uniquement sur des fonctions qu'Apple livre déjà à tout possesseur de Mac, sous licence MIT. Cela déplace aussi la question de sécurité : l'agent n'appelle pas une API que l'on pourrait limiter ou auditer — c'est un doigt synthétique posé sur votre application bancaire déjà connectée, et la seule chose qui le sépare d'une erreur, c'est la capture d'écran qu'il prend ensuite.
Lire dans l'app — gratuit, en 9 langues
Actus liées
Apple Music indiquera quand un morceau a été fait par une machine — mais c'est celui qui le publie qui décide de le dire2026-08-21Le cheval de trait bon marché de DeepSeek voit désormais — et sur les tâches d'agent qui exigent des yeux, il se dit proche du meilleur d'Anthropic
2026-08-21Stripe vient de payer 7,5 milliards pour un routeur de modèles. Quelques jours plus tard, Ramp en construit un et l'offre jusqu'en janvier.
2026-08-21L'assistant de Meta est désormais une app Mac qui lit votre écran et écrit dans n'importe quelle fenêtre — et ce qu'il voit peut entraîner le modèle
2026-08-21Un clic sur un site d'information dit désormais à Google de vous en montrer davantage — et vous restez sur la page que vous lisiez
2026-08-21