据動察 Beating 監測,谷歌发布实验性開源大模型 DiffusionGemma,採用基於擴散(diffusion)的全新文本生成機制,打破了傳統大語言模型逐詞順序生成的限制。DiffusionGemma 擁有 26B 總參數量,在混合專家(MoE)架構下每次前向傳播僅啟動 3.8B 參數,通過並行生成整塊文本,在本地 GPU 推論中實現高達 4 倍的速度提升。
與傳統的「打字機式」逐詞生成不同,DiffusionGemma 的工作原理類似於圖像生成,先在畫布上生成隨機占位符,再通過多輪時間步迭代擦除噪點並鎖定正確文本。每次前向傳播可並行生成 256 個 Token,使所有 Token 均能實現雙向注意力交互。雙向注意力機制在程式碼填充、行內編輯和數學公式生成等非線性生成任務中具有顯著優勢,但 DiffusionGemma 的整體輸出質量目前仍低於標準 Gemma 4。
在硬件測試與推論速度表現上,單張 NVIDIA H100 顯卡可實現每秒 1000 個以上的 Token 生成速度,消費級 NVIDIA GeForce RTX 5090 顯卡也超過 700 個 Token。經過 4-bit 浮點(NVFP4)量化後,推論顯存占用可降至 18GB 以內,顯著降低了本地部署門檻。
DiffusionGemma 權重已在 Hugging Face 開源,並獲得 MLX、vLLM、Unsloth 及 NVIDIA NeMo 等主流開發工具支持。
