DeepSeek開源內部推理引擎DeepInfer：支持昇騰950，但還不是完整的在線服務

動察 Beating AI 快訊，DeepSeek 正式開源內部推理框架 DeepInfer，採用 Apache 2.0 協議。這套系統已經用於支撐 DeepSeek V4.1 Flash 的大規模在線服務。此前，DeepSeek 已陸續開源 DeepGEMM 計算庫、FlashMLA 注意力算子和 DeepEP 通信庫。這次進一步公開了負責多卡並行、任務調度和生成加速的核心框架。

DeepInfer 的目標是讓同樣的算力處理更多請求，同時縮短用戶等待時間。它可以把模型的不同專家分配到多張計算卡，並讓 CPU 調度與 GPU 運算同時進行。DSpark 推測解碼可以提前生成多個候選 Token，再按置信度安排驗證。SWA Bounded Replay 則讓模型處理長文本時，只重新計算近期的一小段內容，減少重複運算。此外，還支持 JSON 等結構化輸出，以及可復現的採樣機制。

這次開源還有一段轉折。2025 年 4 月，DeepSeek 曾解釋，其內部推理引擎由早期 vLLM 深度改造而來，與自家集群高度綁定，難以直接開放給社區使用，因此決定先拆出獨立組件。如今核心代碼終於公開，但仍不是完整的在線部署方案。GitHub 明確註明，當前版本主要提供離線推理，還缺少 KV 緩存管理、輸入與生成階段分離，以及跨副本負載均衡等組件。

目前 DeepInfer 僅支持 DeepSeek V4.1 Flash，適配英偉達 SM100 GPU 和華為昇騰 950 NPU。官方性能測試分別使用 4 張和 64 張 SM100 GPU 測量輸入處理與輸出生成，但未提供與 vLLM、SGLang 的同條件性能對比。同時更新的 deepseek-recipe，則提供與官方 API 對齊的消息及 Token 編解碼能力，支持思考內容、圖片和工具調用等格式。