一層就夠？研究：只訓練單一 Transformer 層，可媲美全參數 RL

一篇新論文丟出一個反直覺的發現：在用強化學習（RL）對大模型做後訓練時，只需訓練單一一層 Transformer，效果就能媲美調整全部參數的完整 RL。標題自問「一層就夠嗎？」，答案在實驗裡是——很多時候，還真的夠。這對「模型愈調愈多才愈好」的直覺是個有力的反例。

這背後指向一個更深的問題：RL 到底改變了模型的什麼？長久以來大家對 RL 後訓練（例如 RLHF）內部發生什麼所知甚少，只知道它有效。這篇的洞見是，RL 帶來的適應其實高度集中在模型的少數地方，而不是均勻地攤在所有參數上——換句話說，真正被 RL 動到的「關鍵旋鈕」可能只有一小撮。

如果結論站得住，實務意義很大。全參數 RL 又貴又慢又吃顯存，若只調一層就能拿到八九成的效果，後訓練的成本可以大幅下降，迭代速度變快，中小團隊也更玩得起。它也給了研究者一把解剖刀，去理解 RL 究竟在模型裡「按下了哪些開關」，讓這個一直很黑箱的環節透明一點。

歸剛點評：這類「少即是多」的發現最有意思，因為它同時省錢又長知識。省的是算力——一層跟全部，成本天差地遠；長的是理解——原來 RL 的功勞集中在少數幾處。當然還要看它在更大模型、更多任務上撐不撐得住，但方向很誘人：把後訓練從蠻力往精準推。