小模型先練功再教大模型：Weak-to-Strong 蒸餾要解後訓練太貴的死結

Hugging Face 每日論文今天的熱門之一，瞄準的是後訓練的成本死結。可驗證獎勵強化學習（RLVR）是提升語言模型推理能力的主流配方，但有個昂貴的特性：目標模型在訓練中必須自己生成大量 rollout，模型愈大、生成愈貴，每出一個新的強模型就得整套重跑，後訓練本身正在變成規模化的瓶頸。

論文提出的替代方案是「弱到強」路徑：先在較小的模型上跑強化學習——小模型的 rollout 便宜得多——再把那次 RL 訓練學到的東西，透過直接的 on-policy 蒸餾轉移給更強的目標模型。等於讓小模型當「陪練員」先把招式練起來，大模型再用蒸餾的方式接收成果，省下自己從頭打磨的算力。

方向上它接的是「weak-to-strong generalization」這條研究線：OpenAI 2023 年提出用弱模型監督強模型的框架時，著眼的是對齊問題；如今同一思路被拿來解訓練經濟學，弱模型從「監督者」變成「教練」。若方法在更大規模上成立，後訓練的成本曲線會被明顯壓平。

歸剛點評：別被學術包裝騙了，論文本質上在回答一個很商業的問題——後訓練這麼貴，怎麼只付一次錢重複使用？對算力有限的團隊（台灣幾乎所有團隊都是）特別值得追：在 7B 上跑 RL、蒸餾到 70B，若真能保住大部分增益，中小實驗室的可玩空間會大一圈。留意後續有沒有人做大規模復現。