動察 Beating AI 快訊,開發者 Finn Voorhees 演示了一個能直接操作 iPhone 的 AI Agent。他只發了一句話,讓 Agent 查詢第二天飛往倫敦最便宜的瑞安航空機票。隨後 Agent 自己打開 Ryanair,填寫目的地、選擇日期、查詢票價,最後返回聊天界面匯報結果。全程沒有電腦參與。
這套 Agent 運行在 Finn 開發的 iPhone 聊天應用 PiChat 中。底層使用他此前開源的 PiDurableKit,通過蘋果的 JavaScriptCore 在手機上運行 Pi Agent,負責模型調用、工具執行和任務管理。視頻中使用的是 Claude Opus 5.5,模型推理仍在雲端。為了讓 Agent 切換到其他 App 後繼續工作,PiChat 還使用蘋果的後台任務機制,並通過 SQLite 保存執行進度,方便中斷後恢復。
最關鍵的跨 App 控制代碼還沒有公開。視頻裡開啟 iPhone Control 時,系統要求輸入鎖屏密碼,以啟用 XCTest UI 自動化。XCTest 是蘋果的界面測試框架,可以模擬點擊、滑動和輸入文字。開源項目 TouchSynthesis 就利用 XCTest 的私有接口,讓 iPhone 自己生成觸摸事件,無需電腦實時控制。不過,Finn 尚未確認是否使用了這套方案。