脱獄も開発者アカウントも不要——Macの画面の画素を読んで本物のiPhoneを操るプロジェクト
8月7日に公開されたphone-harnessは、五日で1,500を超えるスターを集めた。脱獄もXcodeもWebDriverAgentも使わずに、言語モデルに実機のiPhoneを操作させる。仕掛けはmacOS SequoiaのiPhoneミラーリングだ。ツールはそのウィンドウのスクリーンショットを撮り、Apple標準のVisionフレームワークをかけて文字とその座標を割り出し、タップやキー入力を低レベルのCGEventとして送る。そのうえでもう一度スクリーンショットを撮り、操作が通ったかを確かめる。制約も正直に書かれている。同時に扱えるのは一台だけ、ピンチ操作は不可、Face IDやカメラを使う流れも不可、DRM付き動画は黒く表示され、OCRは文字を読めても表示名のないアイコンは読めない。
なぜ重要かこれまで電話の自動化といえば、企業向けのデバイス管理か脱獄のどちらかだった。これはApple がすでにすべてのMac利用者に提供している機能だけで組み上げた数百行のコードで、しかもMITライセンスである。安全性の論点も移動させる。このエージェントが叩いているのは、速度制限も監査もできるAPIではない。ログイン済みの銀行アプリの上に置かれた人工の指であり、それと失敗のあいだにあるのは、事後に撮る一枚のスクリーンショットだけだ。
アプリで読む——無料・9言語
関連ニュース
アップル・ミュージックは機械が作った曲を知らせる——ただし、そう申告するかは投稿者しだい2026-08-21ディープシークの安価な主力モデルが「見る」ようになった——視覚を要するエージェント課題でアンソロピック最上位に迫ると主張
2026-08-21Stripeがモデルルーターに75億ドルを払った。その数日後、Rampは自前のものを作り、1月まで無料で配っている。
2026-08-21Metaのアシスタントは画面を読み、どのウィンドウにも文字を打ち込むMacアプリになった。そして見たものはモデルの学習に使われうる
2026-08-21ニュースサイトでの1クリックが「この媒体をもっと見せて」とGoogleに伝えるようになった。しかも読んでいたページから離れずに
2026-08-21