据動察 Beating 監測,Baseten 研究團隊發布 KV 快取壓縮方法 Still,通過凍結基座模型參數、僅訓練輕量級 Perceiver 壓縮器,在一次前向傳播中即可完成 KV 快取壓縮,最高支持 200 倍壓縮,無需線上優化或梯度更新。
現有 KV 壓縮方法大致分為兩類。一類從原始 Token 中篩選重要快取,如 SnapKV 和 H2O。另一類直接生成新的壓縮快取,但往往需要針對每個上下文進行線上優化。Still 採用攤銷合成(Amortized Synthesis)思路,在 Transformer 每層加入參數規模約為基座模型 1% 的 Perceiver 壓縮器,通過隱式查詢對完整 KV 快取執行交叉注意力,直接生成新的壓縮 KV 快取。
在 Qwen 與 Gemma 模型測試中,Still 在 8k 至 64k 上下文、8 至 200 倍壓縮率範圍內保持了較高準確率。在長上下文基準 RULER 中,Still 在多數設定下超過 SnapKV、H2O 和 KV-Distill 等方法,在 matched-training 任務中領先 KV-Distill 約 8 至 22 個百分點。在 HELMET 多文檔摘要測試中,壓縮後的快取仍可恢復 74% 至 95% 的全上下文性能增益。
相比需要保留原始 Token 或依賴線上優化的方案,Still 將 KV 壓縮轉化為一次前向推理即可完成的學習過程,為超長上下文推理提供了新的快取壓縮路徑。