動察 Beating AI 快訊,腾訊混元 Hy4 預覽這次除了把模型做大,底層架構也大改了一輪。上一代 Hy3 使用傳統全注意力,Hy4 改成了 Gated DSA,也就是 DeepSeek Sparse Attention 的門控版本。模型面對超長文本時,不再把前面所有內容都重新算一遍,而是先挑出最相關的部分重點處理。
Hy4 還給 DSA 加上了 IndexCache。模型每一層原本都要重新判斷「哪些內容最重要」,現在部分層可以直接複用前面已經挑好的結果,少做很多重複計算。
腾訊明確表示,這套設計受到 DeepSeek 和 GLM 啟發。
另一處變化是殘差結構。傳統 Transformer 可以粗略理解成只有一條信息主幹,Hy4 用 iHC 把它擴成了 4 條,讓模型在很深的網路裡能同時保留更多信息。MoE 專家數量也從 Hy3 的 192 個增加到 256 個路由專家 + 1 個共享專家,每個 Token 選擇 8 個路由專家,同時始終經過共享專家。