header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

稀疏注意力還能怎麼提速?LSA讓GLM千萬Token下單層快22.7倍

動察 Beating AI 快訊,英國 AI 研究機構 Prefrontal 與蘇黎世聯邦理工學院研究者開源了 Latent Sparse Attention(LSA),一種針對超長上下文的稀疏注意力技術。


DeepSeek、MiniMax、智譜等模型已經採用稀疏注意力,每次只處理少量關鍵 Token,減少計算。但為了找出這些 Token,許多現有方法仍要用輕量索引器掃描全部歷史資訊,逐個打分。研究者在 1000 萬 Token 的 GLM-5.3-Flash 實驗中發現,單層稀疏注意力的預填充時間,有 98% 花在了篩選資訊上。


LSA 先根據內容相似度,把不同位置的 Token 聚成組,再讓索引器對這些組打分,從中選出相關 Token。這樣一來,原本需要逐個檢查的 Token,可以先按組篩選。團隊還嘗試建立多級索引,讓模型逐層縮小搜尋範圍,不必每次查遍全部分組。


研究者將 LSA 接入 GLM-5.3-Flash 和 Qwen-3.8-27B,保留原有模型權重,只額外訓練少量索引參數。在 NVIDIA H200 上,GLM 的單層預填充比原有稀疏注意力快 22.7 倍,整模型首 Token 延遲降低約 55%。Qwen 相比原有全注意力的單層預填充快 72.4 倍,整模型首 Token 延遲降低約 89%。


不過,最高加速成績來自仍需掃描全部分組的版本。能夠進一步減少搜尋量的多級索引,在 GLM 千萬 Token 測試中出現了明顯的準確率下降。


如果能在保住準確率的同時,讓檢索不必遍歷全部歷史,AI 就有機會更高效地處理數千萬 Token 的程式碼、文獻和長期 Agent 運行記錄。目前 LSA 已經驗證了按語義分組的加速效果,但多級檢索還需要進一步改進。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成