header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

Kimi K3憑什麼追近Fable 5?月之暗面同時重寫注意力、殘差和MoE

据動察 Beating 監測,月之暗面公布 Kimi K3 技術報告。K3 擁有 2.8 萬億總參數,每個 Token 激活 1040 億參數,底座架構較 K2 全面換代。

參數變大只是其中一部分。月之暗面稱,新架構、數據和訓練方法讓 K3 的整體擴展效率比 K2 提高約 2.5 倍。按其 Scaling Law 曲線,達到相同驗證損失所需的訓練計算量,約為 K2 的 40%。

K3 首先重寫了注意力。它用 KDA 處理長序列,每三層再加入一層全域 MLA。KDA 把此前內容壓進固定大小的狀態,降低百萬 Token 上下文的計算和緩存壓力;MLA 負責保留全域信息交換。

它還加入 Attention Residuals。傳統模型只能把此前所有層的信息不斷疊加,K3 則允許每一層直接從更早的網路塊中挑選需要的內容。模型更深以後,早期信息不容易被衝淡。

MoE 也被重新設計。K3 擁有 896 個路由專家,每個 Token 激活 16 個,是 K2 的兩倍。路由專家會先在壓縮空間中計算,再返回模型主幹。新的激活函數和負載均衡算法,則用來防止超大模型訓練失控。

真正拉高 Agent 能力的還有後訓練。月之暗面分別訓練通用、Agent 和代碼模型,再為每個方向訓練三種思考強度,最後把九個專家合並。訓練任務最長可包含數千次工具調用,並持續保留文件、應用和虛擬機狀態。

K3 已在多項代碼、搜索和工具調用測試中接近或領先 Fable 5 和 GPT-5.6 Sol 等頂級閉源模型。它的躍升並非只靠堆參數,而是把更大的底座、新架構和百萬 Token Agent 強化學習一起推到了極限。

相關推薦
花旗與美銀證券認為,Kimi K3 雖降低推理成本,但可能通過「杰文斯悖論」刺激更多調用、長上下文與智能體任務,進而推高 GPU、HBM、DDR5、eSSD 與網路基礎設施需求。
外國人說比蘇聯衛星升空的那天還要震驚。
Anthropic 開放 Mythos 級模型 Fable 5 給一般用戶,並透過權限分級限制高風險能力
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成