header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

Cognition推出FrontierCode:首個衡量程式碼合併品質的AI評測集

据動察 Beating 監測,Cognition 推出全新智能體程式碼評估集 FrontierCode,重點評估 AI 生成程式碼的「可合併性」(Mergeability),而非單純的執行正確性。評測集聯合 Celery、Budibase、uppy 和 Mattermost 等 36 個開源專案維護者共同開發,每項任務均由開發者投入超過 40 小時打磨,用於檢驗程式碼測試品質、設計規範、修改範圍以及風格規範。

FrontierCode 划分為 Extended(150 項任務)、Main(100 項任務)和 Diamond(50 項最難任務)三個級別。在難度極高的 Diamond 任務集上,當前大模型表現仍有巨大提升空間:表現最好的 Claude Opus 4.8 僅獲得 13.4% 的評分,GPT-5.5 獲得 6.3% 評分,Gemini 3.1 Pro 獲得 4.7% 評分,而開源模型中表現最好的 Kimi K2.6 得分僅為 3.8%。

為了防範大模型通過作弊或投機手段通過測試,評測集引入了多項評估機制,包括要求智能體編寫的測試在原始缺陷程式碼中必須執行失敗的反向測試,以及限制修改檔案數量與行數的範圍約束。開發團隊還設計了基於大模型的 mutagent 工具,通過動態調整測試環境包容合理的差異化實現,將評測誤判率降至 SWE-Bench Pro 的五分之一。

举报 糾錯/舉報
相關推薦
Hyperliquid創始人Jeffrey Yan的同學與競賽舊友
10-02 23:14
矽谷沒有忠誠
新一代的創業者們已經走向台前。擺在他們面前的,是「AI將如何重塑世界」這個遠比奧賽更難的考題。
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成