header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

MiniMax M3獨立評測:DeepSWE通過率13.3%落後Kimi與GLM

据動察 Beating 監測,獨立開發者 @bleysg 發布 MiniMax M3 編碼模型在 DeepSWE 長程軟體工程基準上的獨立實測報告。在包含 113 個真實開源功能開發任務的測試中,模型在 90 分鐘常規時限內僅取得 13.3%(15/113)的嚴格標準通過率,與官方先前在 SWE-bench Pro 基準上宣稱的 59.0% 評測成績相去甚遠。在已公佈的 DeepSWE 榜單中,M3 的表現落後於國內主流的 Kimi-k2.6(24%)與 GLM-5.1(18%),但領先於谷歌的 Gemini 3.1 Pro(10%)及 DeepSeek V4 Pro(8%)。

具體而言,模型在 JavaScript 任務上的通過率為 40.0%(2/5),TypeScript 為 17.1%(6/35),Go 為 11.8%(4/34),Python 為 8.8%(3/34),而 5 個 Rust 任務全部失敗。評測數據表明,在未完全解決的任務中,有 35 個任務的隱藏測試通過率已經超過 90%,被歸類為「近乎通過」。另外,全部 113 個任務中僅有 8 次因破壞既有程式碼而導致失敗,表明模型傾向於生成保守補丁,不易引發回歸缺陷。

但與較好的程式碼防回歸表現相比,M3 非常高昂的運行開銷成為顯著短板。在 DeepSWE 基準下,模型解決單個任務的運行步驟中位數高達 325 步,輸出 Token 中位數達 8 萬個,單任務平均成本中位數高達 7.48 美元。高昂的資源開銷表明,相比主流前沿模型,M3 在計算效率上仍有很大的提升空間。測試報告指出,如果放寬運行時間限制,模型的擴展時限通過率可提升至 16.8%(19/113),共額外解決 4 個耗時超過 90 分鐘的多檔案複雜任務。

举报 糾錯/舉報
相關推薦
錢少,卡少,人少,反而逼出了極致的工程能力和架構創新。
不靠品牌,不靠宣传,8天時間讓開發者用腳投票
高盛看好MiniMax靠新品和成本優勢修復估值
英偉達在中國大型模型訓練的護城河,從「必要」降級為「可選」
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成