動察 Beating AI 快訊,Agent 工具公司 Composio 把同一個 DeepSeek V4 Pro 0813 分別放進 Pi Agent、DeepSeek Harness 0.1、Claude Code、OpenCode 和 Hermes Agent,統一開到 max reasoning,跑了 30 個多步驟 Agent 任務。
通過率:
1. Pi Agent:21/30
2. DeepSeek Harness:20/30
3. Claude Code:19/30
4. OpenCode:19/30
5. Hermes Agent:18/30
30 道題裡,15 道五家全過,7 遁五家全掛。剩下 8 道只換了 Harness,結果就會翻轉。
速度排名:
1. Claude Code:181.8 秒
2. DeepSeek Harness:252.1 秒
3. Hermes Agent:273.6 秒
4. OpenCode:280.6 秒
5. Pi Agent:362.9 秒
單次成功成本:
1. DeepSeek Harness:0.028 美元
2. Pi Agent:0.031 美元
3. OpenCode:0.032 美元
4. Hermes Agent:0.037 美元
5. Claude Code:0.074 美元
Pi 通過率最高,DeepSeek 官方 Harness 最省錢,Claude Code 最快但最貴。
Composio 此前用 DeepSeek V4 Flash 做過同類測試,當時 Pi 同樣拿到最高通過率。