動察 Beating AI 快訊,AI 評測機構 Artificial Analysis 大幅調整了 Intelligence Index 榜單。新版加入 132 道真實開源項目的編程任務,AI 寫出的代碼不僅要通過測試,還得達到項目維護者願意合併的標準。另外新增 70 道科研任務,要求 AI 在終端裡實際完成研究流程。為了減少模型提前見過考題的影響,新版 60% 的評分權重來自私有測試集或隱藏答案。
榜單頭部依然是 Anthropic 和 OpenAI 的天下。Claude Opus 5.5 以 58 分奪冠,GPT-6 Astra 和 GPT-6.1 Sol 分別拿到 57 分、55 分。Kimi K3.1 Pro 得到 46 分,但尚未開源權重。
已經開源權重的 DeepSeek V4.1 Flash 和 GLM-5.3 都只有 32 分,落後第一名整整 26 分,甚至不如 Claude Haiku 5.5 的 36 分。
在新增的科研任務中, GPT-6 Astra 完成率達到 63%,Kimi K3.1 Pro 為 34%,DeepSeek V4.1 Flash 只有 13%。
雖然 GPT-6.1 Sol 比 Claude Opus 5.5 低 3 分,但按公開 API 價格估算,平均每道綜合評測任務只需 1.27 美元,後者要 10.04 美元,接近 8 倍。
新版的題目整體也更費 Token 了,每道任務的輸出 Token 中位數從舊版的 3.5 萬增加到 5.9 萬。