据動察 Beating 監測,Databricks 發布內部 AI 程式設計 Agent 評估,用自家數百萬行程式碼庫裡的真實 PR 做測試。
這套評估沒有直接用 SWE-Bench。Databricks 認為公開題集可能經過訓練數據,也不夠貼近真實工程。
測試任務來自近期合併的 PR,覆蓋 Python、Go、TypeScript、Scala 等語言。團隊過濾了機器人提交、AI 生成程式碼和自動生成程式碼,只保留能驗證結果的任務。
結果顯示,程式設計 Agent 已經分出大致三檔。最高一檔不只包括 OpenAI 和 Anthropic 模型,也包括開源模型。GLM 5.2 進入第一梯隊,品質上與 Opus 4.8 接近,單任務成本為 1.28 美元,低於 Opus 4.8 的 1.94 美元。
評估還發現,Token 單價不能直接代表真實成本。Sonnet 5 每 Token 更便宜,但在這套任務裡跑得更久、讀得更多,單任務成本反而更高。
工具殼也很關鍵。同一模型換不同 Agent 框架,任務成本最高可差 2 倍以上,但完成品質變化不大。