header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

MiniMax M3正式開源,原生多模態支援百萬上下文

据動察 Beating 監測,國產大模型廠商 MiniMax 在 Hugging Face 正式開源原生多模態混合專家(MoE)模型 MiniMax M3 權重。MiniMax M3 總參數量為 4280 億,單 Token 激活 230 億參數,原生支持 100 萬超長上下文。為降低部署顯存開銷,開發團隊同步發布了 MXFP8 量化版本,並適配 SGLang、vLLM、Transformers 等主流推理框架。

在多模態設計上,MiniMax M3 在預訓練階段即開展文本、圖像與視頻聯合訓練以實現原生語義融合,而非在後訓練階段進行多模態對齊。在運行機制上,模型提供雙推理模式,分為用於複雜邏輯和工具編排的 Thinking(思考)模式,以及用於低延遲對話和代碼生成的 Non-thinking(非思考)模式。

支撐百萬超長上下文的底層內核,是同步開源的輕量化注意力內核庫 MiniMax Sparse Attention(簡稱 MSA)。官方公布的數據顯示,MSA 採用分組查詢注意力(GQA)分塊檢索機制,在 100 萬 Token 的極長上下文實測中,針對 NVIDIA Blackwell(SM100)架構優化的 MSA 操作相比傳統全注意力機制,可實現 9 倍以上的預填充加速和 15 倍的解碼提速,同時顯著降低了推理開銷。

举报 糾錯/舉報
相關推薦
高盛看好MiniMax靠新品和成本優勢修復估值
錢少,卡少,人少,反而逼出了極致的工程能力和架構創新。
不靠品牌,不靠宣传,8天時間讓開發者用腳投票
英偉達在中國大型模型訓練的護城河,從「必要」降級為「可選」
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成