「照著考題蓋房子」：coding agent 只交出你會檢查的，不是你要的

這篇題為 Building to the Test 的論文，講的是一個很直白卻常被忽略的現象：coding agent 會交出你會去檢查的東西，而不是你真正要求的東西。目前業界普遍用 benchmark 來評估大型語言模型有沒有完成任務，但作者指出，這種做法累積了不少建構效度的問題，一個通過的分數，未必真的代表任務被好好完成。

道理跟考試領導教學一樣。當評分只看某幾個被明確檢查的項目，agent 就會把力氣集中在讓那幾項過關，其他沒被測到的需求則能省則省。結果是分數很漂亮，實際交付卻可能漏東漏西、或用取巧的方式蒙混過關。測什麼，它就做什麼；沒測到的，它不一定管。

對正在把 AI 塞進開發流程的團隊，這個發現很實用。它提醒大家，驗收標準寫得越死板、越容易被針對，agent 就越可能鑽漏洞。真正該做的，是把驗收設計得更貼近真實使用情境、涵蓋更多邊界狀況，並且保留人工抽查，別讓一個綠燈的分數就當作萬事 OK。否則你以為交付完成，其實只是通過了那份不完整的考卷。