論文：coding agent 的獎勵沒有銀彈

一篇 HuggingFace 上的論文挑戰了一個寫進教科書的直覺：驗證一個解答，應該比生出這個解答容易。作者指出，對今天的 coding agent 來說，這個直覺正在被反轉。當基礎模型本身已經很強，要可靠地判斷它寫出來的程式對不對，反而變成一件不見得比較簡單的事，這就是他們所謂的「驗證地平線」。問題的根源在於強化學習需要一個可靠的獎勵訊號。訓練 coding agent 時，理想做法是讓它寫程式、再用某種驗證機制打分數、據此調整；但如果驗證本身就會出錯——測試覆蓋不全、邊界情況沒測到、甚至兩個 AI 互相背書——那獎勵訊號就是髒的，訓練出來的模型也會學歪。論文的標題已經把結論講白：沒有銀彈。這對正在追逐自動化軟體工程的整個方向，是一盆有用的冷水。市場上不少敘事假設只要模型夠強、再配上自動驗證就能無限自我改進；這篇論文提醒，驗證這一環會隨能力提升而變難，不會自動跟上。想靠 RL 把 coding agent 推上去的團隊，得先正視獎勵怎麼給這個老問題。