Без джейлбрейка и аккаунта разработчика: проект управляет настоящим iPhone, считывая пиксели из окна на Mac
Проект phone-harness, опубликованный 7 августа, за пять дней собрал более 1500 звёзд. Он позволяет языковой модели управлять реальным iPhone без джейлбрейка, без Xcode и без WebDriverAgent. Хитрость — в функции «Отображение iPhone» из macOS Sequoia: инструмент делает снимок этого окна, прогоняет по нему встроенный в Apple фреймворк Vision, чтобы найти текст и его координаты, а затем отправляет касания и нажатия клавиш как низкоуровневые CGEvents и делает ещё один снимок, чтобы проверить, сработало ли действие. Ограничения описаны честно: одновременно только один телефон, никаких жестов сведения пальцев, никакого Face ID и сценариев с камерой, видео с защитой DRM отображается чёрным, а распознавание читает слова, но не значки без подписей.
Почему это важноАвтоматизация телефона до сих пор означала либо корпоративное управление устройствами, либо джейлбрейк. Здесь — несколько сотен строк, целиком построенных на возможностях, которые Apple и так даёт каждому владельцу Mac, да ещё и под лицензией MIT. Смещается и вопрос безопасности: агент обращается не к API, который можно ограничить по скорости или проверить, — это синтетический палец поверх вашего банковского приложения с открытой сессией, и единственное, что стоит между ним и ошибкой, — снимок экрана, который он делает после.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
TikTok поместил бота для покупок внутрь видео, которое вы смотрите.2026-10-06Wikimedia подозревает агентов OpenAI в майском сбое.
2026-10-06Помощник Meta ведёт почасовое дело на всех ваших знакомых.
2026-10-05Два сенатора хотят тюрьму для шефов взламывающих ИИ-агентов.
2026-10-05Одна команда возвращает выключатель ИИ, удалённый Apple.
2026-10-05