動察 Beating AI 快訊,開發者 Joseph Zhou 開源了 Poki,讓 Codex、Claude Code 等 AI Agent 直接操控真實 iPhone。
現在已經有不少 iPhone Use 項目,有的透過 XCTest/WDA 安裝測試程式,有的依靠外接硬體模擬操作。
Poki 採用了另一條路線:直接調用蘋果的設備開發者服務,讀取 iPhone 原生無障礙控件樹,獲取按鈕、文字和位置,再向手機發送點擊、滑動、輸入甚至雙指縮放等指令。
這樣 AI 不必每一步都靠截圖猜坐標,也不用在 iPhone 上安裝測試程式。首次透過 USB 配對後,還能在同一局域網內無線操作。
除了透過 MCP 接入 Codex、Claude Code,Poki 還自帶運行在 Mac 上的 Agent,可以透過終端或 iMessage 下達任務。它能記住成功執行並驗證過的操作流程,下次遇到相同任務時直接復用,部分任務甚至不需要再次調用模型。不過,Mac 仍需保持運行。
真機操作目前還比較慢。作者在一台運行 iOS 27.3 的 iPhone 上測試,針對聊天 App 中一個搜索框,文字點擊連續 12 次全部生效,但單次約需 8 秒;填寫輸入框約需 15 秒,部分按鈕仍然無法正常點擊。
Poki 的優勢是能直接讀取系統控件,支持無線操作和多點觸控,但需要完整 Xcode、開發者模式及 UI Automation。底層依賴蘋果的開發者接口,未來系統升級也可能影響兼容性。