線性注意力大比拚：四種新架構同台，找便宜又長記性的取捨

一篇新論文對「線性注意力」做了系統性的比較研究。背景是這樣：目前主流的自注意力（self-attention）讓每個 token 都能回頭查看整段上下文，威力強大，但計算成本隨序列長度呈平方成長，一旦上下文拉很長，訓練和推理都會貴到吃不消。線性注意力就是為了打破這個平方瓶頸而生的一票替代方案。

作者把 softmax 注意力，跟四種近期的循環式線性注意力架構——DeltaNet、Gated DeltaNet、Kimi Delta Attention、以及 Gated DeltaNet-2——全部改寫進同一套「循環記憶」的數學表示法。這麼做的好處是讓它們的差異變得一目了然：每種機制在記憶要保留多久、什麼時候該抹除舊資訊、什麼時候該寫入新資訊，各自做了不同的取捨。論文還進一步探討「跨層路由」，也就是不同層之間怎麼分工搭配。

這類研究的價值在於幫整個領域收斂共識。過去各家線性注意力各說各話、用不同符號描述，很難公平比較；把它們放進同一個框架，等於建立了一把共通的尺，讓後人知道在「長上下文、低成本」這個目標下，哪些設計選擇真的有效、哪些只是換了包裝。這跟今天談長任務記憶的 Proactive Memory Agent 其實是同一個大主題的兩面——都在跟「上下文一長，重要資訊就被沖走」搏鬥。

歸剛點評：注意力機制是現在所有大模型的心臟，能不能又便宜又長記性，直接決定模型能處理多長的文件、多久的對話。這種把眾多方案拉進同一框架的綜述看似不性感，卻是領域成熟的標誌——先有共通的量尺，才談得上真正的進步。做長文本應用的人，這篇值得收。