動察 Beating AI 快訊,去年,DeepSeek 嘗試用華為昇騰晶片訓練 R2,華為工程師駐場協助也沒能跑通。晶片穩定性、跨卡通信和軟體支援都存在問題。今年雙方繼續深入合作。9 月底,DeepSeek 集中公開了六套昇騰適配代碼;10 月又傳出華為正在按照 DeepSeek 的模型需求調整下一代晶片設計。
半導體研究機構 SemiAnalysis 最近公佈了昇騰 950PR 的實測結果。研究人員選取 1055 組大模型常用的矩陣計算,發現華為自己的底層程式已經讓 950PR 發揮出自身 86% 的可達算力,高於輝達 H100 的 75.5%。可實際運算速度仍只有 H100 的 43%,與更新的 B300 相比更只有 21%。
DeepSeek 正在從軟體裡減少數據搬運和等待時間。比如運行注意力計算時,原本需要分別讀取的兩份數據,經過 FlashMLA 調整存儲方式後,一次就能取齊。另一套工具 TileLang 可以讓晶片一邊計算,一邊提前加載下一批數據。SemiAnalysis 實測,自動調度讓部分小型計算任務的耗時最多減少約 40%。DeepSeek 還移植了負責 MoE 專家通信的 DeepEP,但通信與計算仍會爭搶記憶體頻寬,華為計劃繼續改進固件。
此次測試的 950PR 主要面向推理輸入處理,DeepSeek 準備最快年底用於大規模預訓練的是 950DT。此前雙方已開展千卡級測試,但要讓上萬顆晶片連續完成一輪大模型訓練,還需要解決更複雜的協同和穩定性問題。