aiminute. ← AIニュース一覧
ツール AI Minute Newsroom 2026-08-12

脱獄も開発者アカウントも不要——Macの画面の画素を読んで本物のiPhoneを操るプロジェクト

脱獄も開発者アカウントも不要——Macの画面の画素を読んで本物のiPhoneを操るプロジェクト

8月7日に公開されたphone-harnessは、五日で1,500を超えるスターを集めた。脱獄もXcodeもWebDriverAgentも使わずに、言語モデルに実機のiPhoneを操作させる。仕掛けはmacOS SequoiaのiPhoneミラーリングだ。ツールはそのウィンドウのスクリーンショットを撮り、Apple標準のVisionフレームワークをかけて文字とその座標を割り出し、タップやキー入力を低レベルのCGEventとして送る。そのうえでもう一度スクリーンショットを撮り、操作が通ったかを確かめる。制約も正直に書かれている。同時に扱えるのは一台だけ、ピンチ操作は不可、Face IDやカメラを使う流れも不可、DRM付き動画は黒く表示され、OCRは文字を読めても表示名のないアイコンは読めない。

なぜ重要かこれまで電話の自動化といえば、企業向けのデバイス管理か脱獄のどちらかだった。これはApple がすでにすべてのMac利用者に提供している機能だけで組み上げた数百行のコードで、しかもMITライセンスである。安全性の論点も移動させる。このエージェントが叩いているのは、速度制限も監査もできるAPIではない。ログイン済みの銀行アプリの上に置かれた人工の指であり、それと失敗のあいだにあるのは、事後に撮る一枚のスクリーンショットだけだ。
#AIエージェント

✓ 検証済み · 1ソース

WhatsApp X Telegram
アプリで読む——無料・9言語

関連ニュース

OpenRouterがおとりテストの後、推論事業者3社を外した。
2026-11-22
研究者がMetaのAIエージェントMuseから会話を持ち出せたと報告した。
2026-11-22
ChatGPTの共有作業スペース「Space」がPlus利用者にも広がり始めた。
2026-11-21
攻撃者のAIエージェントが自力で未知の欠陥を見つけたとAmazonが報告した
2026-11-21
METRはコーディングで最先端AIに勝てる人がほぼ見つからないと報告した
2026-11-21