動察 Beating AI 快訊,英國 AI 研究機構 Prefrontal 與蘇黎世聯邦理工學院研究者開源了 Latent Sparse Attention(LSA),一種針對超長上下文的稀疏注意力技術。
DeepSeek、MiniMax、智譜等模型已經採用稀疏注意力,每次只處理少量關鍵 Token,減少計算。但為了找出這些 Token,許多現有方法仍要用輕量索引器掃描全部歷史資訊,逐個打分。研究者在 1000 萬 Token 的 GLM-5.3-Flash 實驗中發現,單層稀疏注意力的預填充時間,有 98% 花在了篩選資訊上。
LSA 先根據內容相似度,把不同位置的 Token 聚成組,再讓索引器對這些組打分,從中選出相關 Token。這樣一來,原本需要逐個檢查的 Token,可以先按組篩選。團隊還嘗試建立多級索引,讓模型逐層縮小搜尋範圍,不必每次查遍全部分組。
研究者將 LSA 接入 GLM-5.3-Flash 和 Qwen-3.8-27B,保留原有模型權重,只額外訓練少量索引參數。在 NVIDIA H200 上,GLM 的單層預填充比原有稀疏注意力快 22.7 倍,整模型首 Token 延遲降低約 55%。Qwen 相比原有全注意力的單層預填充快 72.4 倍,整模型首 Token 延遲降低約 89%。
不過,最高加速成績來自仍需掃描全部分組的版本。能夠進一步減少搜尋量的多級索引,在 GLM 千萬 Token 測試中出現了明顯的準確率下降。
如果能在保住準確率的同時,讓檢索不必遍歷全部歷史,AI 就有機會更高效地處理數千萬 Token 的程式碼、文獻和長期 Agent 運行記錄。目前 LSA 已經驗證了按語義分組的加速效果,但多級檢索還需要進一步改進。