動察 Beating AI 快訊,獨立開發者 Yetone 主導開發的 Alma,在最新一輪 AI Agent 橫評中,同時拿下任務通過率和成功成本第三名,把 Claude Code、OpenCode 等知名工具甩在了身後。
這次評測由 AI Agent 基礎設施公司 Runta 發起。在當前的榜單快照中,Alma 的任務通過率為 72.7%,僅次於 Codex CLI 的 77.9% 和 Pi 的 72.8%。Claude Code 則為 70.0%。
Alma 不僅通過率更高,完成任務也更省錢。它每成功完成一道題平均花費約 0.80 美元,Claude Code 為 0.94 美元,成本低約 16%。
這次 FrontierHarness v1.1 專門研究一個問題:同樣的大模型,換一套 Agent 執行框架,表現究竟能差多少?
評測覆蓋 21 組 Harness 配置、5 款大模型和 62 項任務,每項重複 4 次,計劃運行 26,040 次,規模達到上一版的 72 倍。所有工具都在統一的雲端環境中運行,比較任務成功率、Token 成本和執行速度。
Alma 是一款主打本地運行、長期記憶的 AI Agent,能直接讀取和修改代碼、執行終端命令、搜索網頁,還支持 Skills 和 MCP。它可以自由切換底層模型,不依賴某一家模型廠商。
最近,Alma 還整合了 Herdr。Claude Code、Codex、Pi 等編程 Agent 可以繼續在 Herdr 中運行,Alma 則把它們集中到一個聊天界面,查看執行過程、回復問題和批准操作。用戶甚至可以通過 iPhone 遠程管理電腦上的多個 Agent。
目前評測尚未結束,排名仍會變化。參測模型也僅限 GLM、DeepSeek、Kimi、Muse 等開源模型,沒有覆蓋 GPT 和 Claude 系列閉源模型。