動察 Beating AI 快訊,AI Agent 公司 Einsia 發布 SWE Refactor Bench,專門測 Coding Agent 能不能自己遷移整個程式庫。20 個任務來自 SQLite、zlib、libsodium、GraphHopper 等真實專案,包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每項給 Agent 6~30 小時。
評測第一關檢查舊技術棧是不是真的被替掉,防止 Agent 留著舊碼混過去;第二關跑超過 13 萬項固定檢查;最後再派 6 個獨立 Coding Agent,各花 1 小時專門找隱藏 bug。
8 個前沿模型、26 種配置一共跑了 520 次。340 次確實完成遷移,88 次把預先準備的測試全部跑綠,但其中 60 次又被最後一輪找出了隱藏 bug。最終只有 28 次完全過關,通過率 5.4%;20 個任務裡有 13 個沒人做成。Claude Opus 5 的 xhigh 配置最好,20 個任務完整通過 5 個。
現在的 Coding Agent 已經能大規模改程式碼,但要做到「整個系統改完還能完全不出錯」,還差得很遠。