每個 token 有自己的火候：TTCD 連續擴散語言模型的新解法

擴散路線的語言模型又有新玩法。這篇上榜 Hugging Face Daily Papers 的論文提出 Token Time Continuous Diffusion，簡稱 TTCD，有兩個核心設計：其一，模型在連續空間中運作，從高斯噪聲出發確定性地映射到最終的 token 畫布，過程不需要反覆隨機採樣；其二，引入 per-token 時間的概念，允許某些 token 比其他 token 更快地從噪聲狀態凝固成文字。

背後要解的痛點是擴散語言模型的老問題：並行採樣多個 token 時，token 之間的相依關係處理不好，正是生成品質失準的主要來源之一。自回歸模型一次生一個 token 所以不會有這個問題，但也因此吞吐受限；擴散模型想靠並行生成換速度，就得面對「同時決定的 token 彼此打架」的難題。TTCD 讓每個位置有自己的去噪節奏，簡單的 token 先定案、難的 token 多想一會，等於在並行框架裡偷渡了輕量的順序性。

擴散語言模型近一年從邊緣路線變成顯學，多家實驗室都端出過吞吐數倍於自回歸模型的展示。本站持續追蹤的觀察重點不變：學術基準與實際部署之間仍有落差，推理框架、KV 快取生態全是為自回歸模型建的，擴散路線要上量產還缺整套基礎設施。

歸剛點評：per-token 時間是個直覺漂亮的設計——白話講就是讓每個字有自己的火候，急的先熟。判斷這類論文要看後續三件事：開不開源、有沒有人在 7B 以上規模復現、推理框架願不願意接。擴散 LM 的故事講了一年，2026 下半年該是見真章的時候，值得放進觀察清單。