header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP

MiniMax M3.1 Flash陷刷榜爭議:老題接近滿分,新題幾乎零分

動察 Beating AI 快訊,大模型評測博主「貓老闆」測試 MiniMax M3.1 Flash 時發現,模型在老題上接近滿分,換成新題卻接近零分。模型平均每題要消耗數萬 Token,但一些難題只用了約 1 萬 Token 就能答對。這種反常的表現,讓人懷疑模型是不是提前記住了部分題目的答案。


貓老闆長期維護「致知」大模型排行榜,使用不公開的私人題庫,主要測試邏輯、數學和編程能力。題庫通常維持在 28 道題、270 個測試用例以內,每月更新部分題目,每道題測試 3 次,同時統計最高成績和中位成績。這次 M3.1 Flash 的中位分數達到 51.76,比上一代 M3 的 23.86 提高一倍以上,接近最新 DeepSeek V4.1 Flash 1017 的 56.03。


一些開發者懷疑,模型可能針對舊題進行了專門訓練,而沒有真正掌握解題方法。這種為提高評測成績而專門優化模型的做法,被稱為 Benchmaxxing。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成