美團開源兆參數大模型 LongCat-2.0，同步開放中國國產卡推理程式碼

据動察 Beating 監測，美團正式開源兆參數大模型 LongCat-2.0，總參數 1.6T，平均啟動約 48B，專為真實 Agentic Coding 任務設計。架構上創新引入 LongCat 稀疏注意力和 N-gram 嵌入，前者通過流感知索引與層級化索引減少碎片化訪存，加速百萬級長上下文訓練與推理；後者在 MoE 稀疏度已接近 97% 的情況下將 135B 參數投入嵌入層，兼顧參數收益與結構穩定性。後訓練採用多教師在線蒸餾，將專家分為 Agent、推理和交互三類，通過 MOPD 架構在國產算力集群上無縫融合。作為業界首個在五萬卡國產算力集群上完成推理的兆參數模型，LongCat-2.0 驗證了國產芯片承載複雜大模型任務的成熟能力。

針對中國國產芯片顯存、帶寬和互聯的多重限制，美團從模型、芯片適配與部署三個方向逐一突破：模型層面通過 ScMoE 利用國產芯片控核能力實現 Dense 與 MoE 分支物理核心級並行，結合 KV-cache 切分緩解超長上下文顯存壓力；芯片適配層面以 Super Kernel 減少算子啟動開銷，通過 Weight Prefetch 隱藏 I/O 延遲，在受限條件下最大化硬件利用率；部署層面採用 PD 分離兼顧 TTFT 與 TPOT，配合異步化 Expert-Parallel 負載均衡解決大 EP 度下的負載不均。本次開源同步提供 BF16、FP8 及 INT8 等多精度版本，並將針對國產算力極致優化的推理成果完整開放，目標是讓存量國產卡乃至老卡都能流暢部署兆參大模型推理服務。

---------------------------------

點擊下方原文連結，加入動察 Beating · 飛書 AI 新聞渠道，7×24 小時不間斷監測全球 AI 熱點與新聞。