据動察 Beating 監測,Cognition 推出全新智能體程式碼評估集 FrontierCode,重點評估 AI 生成程式碼的「可合併性」(Mergeability),而非單純的執行正確性。評測集聯合 Celery、Budibase、uppy 和 Mattermost 等 36 個開源專案維護者共同開發,每項任務均由開發者投入超過 40 小時打磨,用於檢驗程式碼測試品質、設計規範、修改範圍以及風格規範。
FrontierCode 划分為 Extended(150 項任務)、Main(100 項任務)和 Diamond(50 項最難任務)三個級別。在難度極高的 Diamond 任務集上,當前大模型表現仍有巨大提升空間:表現最好的 Claude Opus 4.8 僅獲得 13.4% 的評分,GPT-5.5 獲得 6.3% 評分,Gemini 3.1 Pro 獲得 4.7% 評分,而開源模型中表現最好的 Kimi K2.6 得分僅為 3.8%。
為了防範大模型通過作弊或投機手段通過測試,評測集引入了多項評估機制,包括要求智能體編寫的測試在原始缺陷程式碼中必須執行失敗的反向測試,以及限制修改檔案數量與行數的範圍約束。開發團隊還設計了基於大模型的 mutagent 工具,通過動態調整測試環境包容合理的差異化實現,將評測誤判率降至 SWE-Bench Pro 的五分之一。