Meta首席AI官Alexandr Wang駁斥SemiAnalysis「刷榜論」：老測試早已飽和

動察 Beating AI 快訊，AI 研究機構 SemiAnalysis 點名 Gemini 3.8 Flash 和 Muse Spark 1.3，稱它們是目前最明顯的「benchmaxxed」模型之一，也就是針對公開評測優化得太狠。兩款模型在 Terminal-Bench 2.1 分別拿到 89.4% 和 88.8%，已經接近 GPT-6 Astra 和 Claude Fable 5.1；換到剛發布不久的 Terminal-Bench 4.0，卻只剩 19.1% 和 33.3%。Astra 和 Fable 5.1 分別還有 57.7% 和 55.8%。

SemiAnalysis 懷疑，問題出在公開測試越來越容易被針對性優化。Terminal-Bench 2.1 的任務全部公開，即使模型廠商不直接拿測試題訓練，也可以購買與這些任務高度相似的強化學習環境數據。模型於是越來越擅長這套考試，卻未必能泛化到新任務。不過 SemiAnalysis 沒有拿出 Google 或 Meta 購買這類數據的直接證據。

Meta 首席 AI 官 Alexandr Wang 隨後反駁，稱這個論點「很蠢」。他舉例，GPT-5.6 Sol 同樣從 Terminal-Bench 2.1 的 88.8% 掉到 4.0 的 37.3%。他的解釋是 2.1 已經飽和，無法再有效區分頂尖模型，而 4.0 遠未飽和。Terminal-Bench 4.0 的確刪除了 8 道飽和、已有公開解法或存在其他問題的任務，同時修改了 19 道題，並重新調整時間、CPU 和記憶體等資源限制。