Без джейлбрейка и аккаунта разработчика: проект управляет настоящим iPhone, считывая пиксели из окна на Mac
Проект phone-harness, опубликованный 7 августа, за пять дней собрал более 1500 звёзд. Он позволяет языковой модели управлять реальным iPhone без джейлбрейка, без Xcode и без WebDriverAgent. Хитрость — в функции «Отображение iPhone» из macOS Sequoia: инструмент делает снимок этого окна, прогоняет по нему встроенный в Apple фреймворк Vision, чтобы найти текст и его координаты, а затем отправляет касания и нажатия клавиш как низкоуровневые CGEvents и делает ещё один снимок, чтобы проверить, сработало ли действие. Ограничения описаны честно: одновременно только один телефон, никаких жестов сведения пальцев, никакого Face ID и сценариев с камерой, видео с защитой DRM отображается чёрным, а распознавание читает слова, но не значки без подписей.
Почему это важноАвтоматизация телефона до сих пор означала либо корпоративное управление устройствами, либо джейлбрейк. Здесь — несколько сотен строк, целиком построенных на возможностях, которые Apple и так даёт каждому владельцу Mac, да ещё и под лицензией MIT. Смещается и вопрос безопасности: агент обращается не к API, который можно ограничить по скорости или проверить, — это синтетический палец поверх вашего банковского приложения с открытой сессией, и единственное, что стоит между ним и ошибкой, — снимок экрана, который он делает после.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Apple Music будет сообщать, что песню сделала машина, — но говорить об этом или нет, решает тот, кто её загружает2026-08-21Дешёвая рабочая лошадка DeepSeek научилась видеть — и на агентных задачах, где нужны глаза, заявляет о приближении к лучшему у Anthropic
2026-08-21Stripe только что заплатила 7,5 миллиарда за маршрутизатор моделей. Через несколько дней Ramp собрала свой и раздаёт его бесплатно до января.
2026-08-21Ассистент Meta стал приложением для Mac, которое читает ваш экран и печатает в любое окно, — а увиденное может пойти на обучение модели
2026-08-21Один клик на новостном сайте теперь говорит Google показывать вам его чаще — и вы остаётесь на той же странице
2026-08-21