Codex也能直接操作iPhone了，開發者開源整套工具

動察 Beating AI 快訊，前豆包桌面端產品經理鍾二信開源了 iPhone Use，讓 Codex 可以直接操作真實的 iPhone。用戶只需用自然語言下達任務，Codex 就能打開 App、讀取頁面、點擊、滑動、輸入中文，還能搜尋和整理列表。整個操作過程可以在 Codex 側邊欄實時查看。

項目底層使用 Appium 的 WebDriverAgent（WDA），這是一個基於蘋果 XCTest 測試框架的手機自動化工具。開發者先通過 Xcode 在 iPhone 上安裝 WDA，再通過 Mac 上的 MCP 服務，將 Codex 的指令發送給手機，由 WDA 執行點擊、輸入等操作。無需越獄，也不用單獨部署 Appium Server。

為了減少 AI 反覆看截圖的開銷，iPhone Use 優先讀取系統提供的界面控件信息，直接識別按鈕文字、位置和狀態。遇到無法識別或被遮擋的控件，再返回截圖，讓模型判斷點擊坐標。它還支持批量執行連續操作，減少模型調用次數。側邊欄的實時畫面則通過 WDA 的獨立屏幕流獲取，無需反覆截圖。

目前 iPhone Use 的官方教程仍要求通過 USB 連接手機，首次使用需要通過 Xcode 簽名並安裝 WDA。蘋果支持無線調試，WDA 也可以通過網絡訪問，但該項目尚未提供完整的無線連接配置方案。