header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

MiniMax開源Blackwell專屬注意力庫,M3權重預計本週五發布

据動察 Beating 监测,MiniMax 开发者关系负责人 Ryan Lee 宣布,面向 NVIDIA Blackwell(SM100)GPU 的高性能注意力库 MiniMax Sparse Attention(MSA)已正式开源,采用 MIT 协议。Ryan Lee 同时表示,MiniMax-M3 权重预计将于本周五发布。

MSA 已被应用于 MiniMax-M3 的百万级上下文推理,通过在每个 GQA 组中筛选最相关的 KV Block,仅对选中块执行注意力计算。论文显示,在 100 万 Token 上下文下,相比同配置的 Dense GQA,MSA 可将注意力计算量降低 28.4 倍,并在 H800 GPU 上实现 14.2 倍预填充加速和 7.6 倍解码加速。

开源版本在同一个 Python 包中集成了 C++ JIT 与 CuTe-DSL 两套实现,同时提供 Dense FlashAttention 与 Sparse Top-k Attention Kernel,支持 BF16、FP8、NVFP4 和 FP4 等多种精度格式。目前主要面向 NVIDIA Blackwell(SM100)GPU 部署。

举报 糾錯/舉報
相關推薦
錢少,卡少,人少,反而逼出了極致的工程能力和架構創新。
高盛看好MiniMax靠新品和成本優勢修復估值
不靠品牌,不靠宣传,8天時間讓開發者用腳投票
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成