RL 後訓練動不動就崩？論文指向訓練與推論引擎的「機率分裂」

強化學習已是 LLM 後訓練的標配，但業界心照不宣的痛點是：RL 訓練很脆，動不動不穩定、甚至整個崩掉。這篇登上 Hugging Face 論文榜的研究把矛頭指向一個系統層的結構性問題——訓練與推論的不匹配（training-inference mismatch）。

問題的根源來自效率上的必要之惡：生成軌跡要快，所以用推論引擎（vLLM 這類）；梯度更新要準，所以用訓練引擎。兩套引擎的數值路徑不同，即使模型參數完全同步，同一條軌跡在兩邊算出來的機率就是對不上。RL 演算法假設「我用來取樣的策略」和「我正在更新的策略」是同一個，前提在工程實作裡默默破功，優化目標從一開始就歪了。

論文的主張是把目標講清楚：與其優化那個實際上沒人真正部署的「訓練端策略」，該當成真目標的是推論端策略的單調改進——畢竟上線服務用戶的永遠是推論引擎裡的那個模型。從這個視角重新推導，一些看似玄學的訓練不穩定，其實是拿錯了優化對象的必然結果。

對做後訓練的團隊，可操作的啟示很直接：先量測自家管線兩端的機率差距有多大，再決定要用重要性採樣校正、還是對齊兩邊的數值實作。許多「換個 seed 就崩」的靈異現象，可能只是系統層 bug 穿著演算法問題的外衣。