header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

AA-Briefcase公佈:Claude Fable5奪冠,GLM-5.2擠進前三

据動察 Beating 監測,評測機構 Artificial Analysis 推出首個專為大模型智能體設計的長周期知識工作評測基準 AA-Briefcase。評測包含數據科學、產品管理、銀行業務運營及重工業戰略四個場景,由來自谷歌、麥肯錫和波士頓咨詢的行業專家開發,共設有 91 項任務,旨在模擬真實複雜的商業項目流。

基準通過客觀題、分析質量和排版展示三個維度進行雙人對戰及基準評測。結果顯示,Anthropic 旗下的 Claude Fable 5 取得了最高綜合評分 AA-Briefcase Elo,Claude Opus 4.8 (max) 與 GLM-5.2 (max) 分列第二與第三位。即便強如 Claude Fable 5,在嚴格的單項任務全對標準下,完美率也僅有 3%,且在 91 項任務中有 31 項沒有任何模型能取得 50% 以上的分數。

在開源模型方面,智譜 GLM-5.2 (max) 表現突出,綜合評分僅比 Claude Opus 4.8 (max) 低 90 分,但運行成本不足 Claude Opus 4.8 (max) 的 25%。運行成本在不同模型間差異懸殊,DeepSeek V4 Flash 單次任務成本僅為 0.04 美元,而最貴的 Claude Fable 5 超過 31 美元。分析顯示,視覺檢查能力對提升交付成果的排版質量至關重要,領先排版評分的 Claude Fable 5 和 Claude Opus 4.8 (max) 每次任務平均分別調用 21 次和 12 次圖像查看工具。

糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成