微軟完成2.8萬億參數模型預訓練：比GPT-5.6基座更強，算力僅用1/4

動察 Beating AI 快訊，微軟宣布完成新一代自研模型 MAI-Base-2 的預訓練。模型總參數達 2.8 萬億，採用 MoE 混合專家架構，每次僅激活 800 億參數。

今年 8 至 9 月，微軟動用 1.6 萬張 NVIDIA GB200 GPU，訓練了 38 天，處理約 50 萬億 Token。新模型還首次引入原生視覺預訓練，視覺數據佔訓練量的 18%。

微軟公布的內部測試顯示，MAI-Base-2 在代碼、問答、數學和理工學科的文本預測指標上，超過 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8 等模型。

微軟還宣稱，如果只想訓練出 DeepSeek-V4-Pro-Base 同等水平的模型，自己的方法只需花費約 1/4 至 1/12 的算力。但微軟繼續投入更多算力，把模型做得更大、更強。MAI-Base-2 實際消耗的訓練算力仍高於 DeepSeek。

微軟 AI 負責人 Mustafa Suleyman 在 10 月 15 日的內部會議上稱，MAI-Base-2 的預訓練基座已經強於支撐 GPT-5.6 Sol 的 OpenAI 模型，而訓練算力僅為後者的四分之一。

微軟改進了 MoE 專家調度、Muon 優化器和數據篩選方法，減少顯存浪費，提高大規模訓練的穩定性。微軟還強調，所有訓練數據都由自己處理，沒有通過蒸餾其他公司的模型獲取能力。

MAI-Base-2 目前仍在後訓練階段，微軟計劃先將其用於自家產品，再通過 Foundry 向企業合作夥伴授權模型權重。