header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

讓 AI 遷移整個程式庫,94.6% 未通過:20 項任務中有 13 項未完成。

動察 Beating AI 快訊,AI Agent 公司 Einsia 發布 SWE Refactor Bench,專門測 Coding Agent 能不能自己遷移整個程式庫。20 個任務來自 SQLite、zlib、libsodium、GraphHopper 等真實專案,包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每項給 Agent 6~30 小時。


評測第一關檢查舊技術棧是不是真的被替掉,防止 Agent 留著舊碼混過去;第二關跑超過 13 萬項固定檢查;最後再派 6 個獨立 Coding Agent,各花 1 小時專門找隱藏 bug。


8 個前沿模型、26 種配置一共跑了 520 次。340 次確實完成遷移,88 次把預先準備的測試全部跑綠,但其中 60 次又被最後一輪找出了隱藏 bug。最終只有 28 次完全過關,通過率 5.4%;20 個任務裡有 13 個沒人做成。Claude Opus 5 的 xhigh 配置最好,20 個任務完整通過 5 個。


現在的 Coding Agent 已經能大規模改程式碼,但要做到「整個系統改完還能完全不出錯」,還差得很遠。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成