header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

國產算力里程碑:千卡昇騰910C跑通DeepSeek 1.6兆模型全參數後訓練

据动察 Beating 监测,由深圳河套学院、哈工大(深圳)、深圳市大数据研究院与华为相关团队组成,并协同深智城 AI 算力平台的联合攻关团队,宣布在国产 AI 算力平台上成功跑通 1.6 萬億參數大模型 DeepSeek-V4-Pro 的全參數後訓練(Post-training)。

這是全球第三方機構首次在國產算力平台上完成 1.6 萬億參數規模模型的全參數後訓練。

相較於從零開始的預訓練(Pre-training),後訓練階段(主要包括監督微調 SFT 與強化學習 RL)側重於通過高質量指令和人類偏好對齊,教導模型遵循指令並執行特定任務。然而,對於 1.6 萬億參數的 MoE 架構模型而言,全參數後訓練依然對底層硬件的顯存容量、多卡間通信帶寬(如 MoE 路由所觸發的全對全通信)以及大規模集群的穩定性有著非常嚴格的要求。聯合攻關團隊依托超千張晶片規模的華為昇腾 910C 算力集群,通過優化分佈式承載與負載均衡策略,成功克服了通信瓶頸。在長達 1500 多步的訓練過程中,系統未出現一次中斷,模型算力利用率(MFU)超過 30%,關鍵算子效率提升了 14%,各項指標均達到工業級運行標準。

業內分析指出,華為昇腾 910C 集群在萬億級模型訓練上的成功跑通,印證了國產 AI 芯片在承載超大規模模型深度訓練任務時的技術可行性。由於此前大模型研發的核心預訓練多依賴英偉達 GPU 集群,國產算力此前主要承擔推理(Inference)或小參數微調任務。本次聯合攻關的成功,標誌著國產算力生態正加速從「僅支持推理」向「承載超大參數模型全參數訓練」的技術閉環過渡。

举报 糾錯/舉報
相關推薦
技術從來就不應該是高高在上的奢侈品
A16Z 創辦人認為 DeepSeek R1 是他所見過的最令人驚奇和令人印象深刻的突破之一,作為開源,這是給世界的一份意義深遠的禮物。
通過降低訓練和推理門檻,將更多國產存儲、晶片與網路廠商帶入AI基礎設施競爭
如果一切順利,最快今年底。
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成