据動察 Beating 監測,國產大模型廠商 MiniMax 在 Hugging Face 正式開源原生多模態混合專家(MoE)模型 MiniMax M3 權重。MiniMax M3 總參數量為 4280 億,單 Token 激活 230 億參數,原生支持 100 萬超長上下文。為降低部署顯存開銷,開發團隊同步發布了 MXFP8 量化版本,並適配 SGLang、vLLM、Transformers 等主流推理框架。
在多模態設計上,MiniMax M3 在預訓練階段即開展文本、圖像與視頻聯合訓練以實現原生語義融合,而非在後訓練階段進行多模態對齊。在運行機制上,模型提供雙推理模式,分為用於複雜邏輯和工具編排的 Thinking(思考)模式,以及用於低延遲對話和代碼生成的 Non-thinking(非思考)模式。
支撐百萬超長上下文的底層內核,是同步開源的輕量化注意力內核庫 MiniMax Sparse Attention(簡稱 MSA)。官方公布的數據顯示,MSA 採用分組查詢注意力(GQA)分塊檢索機制,在 100 萬 Token 的極長上下文實測中,針對 NVIDIA Blackwell(SM100)架構優化的 MSA 操作相比傳統全注意力機制,可實現 9 倍以上的預填充加速和 15 倍的解碼提速,同時顯著降低了推理開銷。