header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

Databricks拿真實程式庫測試Agent,GLM 5.2進第一梯隊

据動察 Beating 監測,Databricks 發布內部 AI 程式設計 Agent 評估,用自家數百萬行程式碼庫裡的真實 PR 做測試。

這套評估沒有直接用 SWE-Bench。Databricks 認為公開題集可能經過訓練數據,也不夠貼近真實工程。

測試任務來自近期合併的 PR,覆蓋 Python、Go、TypeScript、Scala 等語言。團隊過濾了機器人提交、AI 生成程式碼和自動生成程式碼,只保留能驗證結果的任務。

結果顯示,程式設計 Agent 已經分出大致三檔。最高一檔不只包括 OpenAI 和 Anthropic 模型,也包括開源模型。GLM 5.2 進入第一梯隊,品質上與 Opus 4.8 接近,單任務成本為 1.28 美元,低於 Opus 4.8 的 1.94 美元。

評估還發現,Token 單價不能直接代表真實成本。Sonnet 5 每 Token 更便宜,但在這套任務裡跑得更久、讀得更多,單任務成本反而更高。

工具殼也很關鍵。同一模型換不同 Agent 框架,任務成本最高可差 2 倍以上,但完成品質變化不大。

举报 糾錯/舉報
相關推薦
Agent元宇宙正在掀起一場革命,用AI agent和代幣化把Web3遊戲玩出新花樣
不到一個月的時間,整個 AI Agent 賽道專案的市值就達到百億美元。
AI Agent 與 DeSci 的敘事能否貫穿新的一年?
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成