OpenAI 自己拆招：熱門程式碼評測 SWE-Bench Pro 可信度有問題

OpenAI 發表一份分析，把矛頭指向自己也在用的熱門程式碼評測 SWE-Bench Pro，說這套 benchmark 存在會影響結果可信度的問題。SWE-Bench 系列這兩年是衡量 AI 寫程式、修 bug 能力的黃金標準，各家發模型都要秀在上面跑幾分，OpenAI 這一刀等於捅在整個產業拿來互相比較的公用尺上。

benchmark 會失真的常見毛病有幾種：測試題目可能早就混進模型的訓練資料（資料污染），讓模型是「背過答案」而非真的會解；或是評分腳本、環境設定有瑕疵，導致對的答案被判錯、錯的被放行。任何一種都會讓排行榜的名次失去意義，卻很少有人願意回頭查——因為大家都靠這張榜單行銷。

由市場領頭羊親自出來拆自家也在用的評測，姿態很微妙。往好處看，這是把「別太迷信單一分數」的話講明白，逼整個社群正視評測品質；往現實看，當你的模型在某張榜上沒佔到便宜，質疑榜單本身也是一種競爭策略。兩種動機可以並存。

歸剛點評：這則新聞的真正價值，是提醒所有看 AI 新聞的人——「刷新 SOTA」「超越 GPT 幾分」這種標題要打折看。評測有沒有被污染、腳本準不準，比多零點幾分重要太多。連 OpenAI 都跳出來說榜有問題，你我引用時更該留個心眼。