長上下文的錢坑有解嗎？兩篇新論文同攻 KV cache 壓縮

Hugging Face 每日論文今天出現罕見的同題對打：兩篇論文都瞄準 KV cache 壓縮。問題的底層是自迴歸解碼的結構性成本——KV 快取的記憶體與頻寬佔用隨上下文長度線性成長，而且解碼全程都得留著，長上下文模型不壓縮就等於用 GPU 記憶體養倉庫。

第一篇 KVpop 的切入點是淘汰策略的訓練方式：現有方法多靠靜態啟發式或代理分數決定丟哪些 KV，對「未來 token 還會不會用到它」的預測很差，相關性一轉移就誤刪。KVpop 直接用新穎的未來注意力目標監督「留或丟」的決策，學出固定預算下的淘汰策略。

第二篇 SeKV 攻另一個兩難：token 淘汰會丟資訊，prefill 階段就定死的語意分組又沒法隨解碼動態調整。它的解法是解析度自適應的 KV 快取配上階層式語意記憶，讓壓縮粒度能跟著解碼需求變。

拉高一層看，KV cache 壓縮、上期報導過的 megakernel、今天 DeepSeek 的推理晶片，全在打同一場仗：推理成本。長上下文的競賽已經從「撐不撐得到一百萬 token」進到「養不養得起」，軟硬體兩端同時在擠水分。