header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

腾訊混元Hy4重做底層:DeepSeek稀疏注意力+智譜IndexCache一起上

動察 Beating AI 快訊,腾訊混元 Hy4 預覽這次除了把模型做大,底層架構也大改了一輪。上一代 Hy3 使用傳統全注意力,Hy4 改成了 Gated DSA,也就是 DeepSeek Sparse Attention 的門控版本。模型面對超長文本時,不再把前面所有內容都重新算一遍,而是先挑出最相關的部分重點處理。


Hy4 還給 DSA 加上了 IndexCache。模型每一層原本都要重新判斷「哪些內容最重要」,現在部分層可以直接複用前面已經挑好的結果,少做很多重複計算。


腾訊明確表示,這套設計受到 DeepSeek 和 GLM 啟發。


另一處變化是殘差結構。傳統 Transformer 可以粗略理解成只有一條信息主幹,Hy4 用 iHC 把它擴成了 4 條,讓模型在很深的網路裡能同時保留更多信息。MoE 專家數量也從 Hy3 的 192 個增加到 256 個路由專家 + 1 個共享專家,每個 Token 選擇 8 個路由專家,同時始終經過共享專家。

相關推薦
08-15 11:27
腾訊還有夢想
於是我們奮力向前劃,逆水行舟,被不停地推回過去。
2022年前後,騰訊區塊鏈突然在與阿里系的競爭中潰敗下來,並消失在國內區塊鏈版圖中。如今,在新的 Web3 和虛擬資產領域,騰訊已經全面退守,而來到Web3「組團創業」的騰訊員工已開始嶄露頭角。
事實上,騰訊雲本次與TON基金會達成合作,是在給予TON公鏈節點,以便能實現更進一步的發展。
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成