aiminute. ← Все новости ИИ
Инструменты AI Minute Newsroom 2026-08-12

Без джейлбрейка и аккаунта разработчика: проект управляет настоящим iPhone, считывая пиксели из окна на Mac

Без джейлбрейка и аккаунта разработчика: проект управляет настоящим iPhone, считывая пиксели из окна на Mac

Проект phone-harness, опубликованный 7 августа, за пять дней собрал более 1500 звёзд. Он позволяет языковой модели управлять реальным iPhone без джейлбрейка, без Xcode и без WebDriverAgent. Хитрость — в функции «Отображение iPhone» из macOS Sequoia: инструмент делает снимок этого окна, прогоняет по нему встроенный в Apple фреймворк Vision, чтобы найти текст и его координаты, а затем отправляет касания и нажатия клавиш как низкоуровневые CGEvents и делает ещё один снимок, чтобы проверить, сработало ли действие. Ограничения описаны честно: одновременно только один телефон, никаких жестов сведения пальцев, никакого Face ID и сценариев с камерой, видео с защитой DRM отображается чёрным, а распознавание читает слова, но не значки без подписей.

Почему это важноАвтоматизация телефона до сих пор означала либо корпоративное управление устройствами, либо джейлбрейк. Здесь — несколько сотен строк, целиком построенных на возможностях, которые Apple и так даёт каждому владельцу Mac, да ещё и под лицензией MIT. Смещается и вопрос безопасности: агент обращается не к API, который можно ограничить по скорости или проверить, — это синтетический палец поверх вашего банковского приложения с открытой сессией, и единственное, что стоит между ним и ошибкой, — снимок экрана, который он делает после.
#ИИ-агенты

✓ Проверено · 1 источников

WhatsApp X Telegram
Читайте в приложении — бесплатно, 9 языков

Похожие новости

OpenRouter отключил трёх провайдеров после теста с приманками.
2026-11-22
Исследователи заявили, что вывели переписку из агента Muse от Meta.
2026-11-22
Общее рабочее пространство ChatGPT Space открывают для Plus.
2026-11-21
Amazon сообщила, что ИИ-агенты хакеров сами нашли новую уязвимость.
2026-11-21
METR почти не находит людей, которые обходят ИИ в программировании.
2026-11-21