NP-hard 光纖網路題對決:Fable 5 大戰 GPT-5.6 Sol,/goal 模式有用嗎?
Charles Azam 把自己 2018 年當工程學生時做過的 KIRO 光纖網路設計問題改造成基準測試:給定 Grenoble、Nice、Paris 三城的有向距離矩陣,求解器要用冗餘迴圈與短鏈連接配送點與終端,目標是纜線總長度最短。搜尋空間大到誇張,光是 Paris 的 532 個終端分配給 11 個配送樞紐,一個刻意受限的解族就有約 10 的 1223 次方種組合。受測的是六個模型:Claude 系的 Fable 5、Opus 4.8、Sonnet 5,OpenAI 系的 GPT-5.6 Sol、Terra、Luna,每場 30 分鐘優化預算,推理強度全開。
實驗的核心問題只有一個:原生 /goal 模式到底有沒有用?作者的答案很細緻:/goal 改變的是控制迴圈與搜尋路徑,而非單純的「更努力開關」。路徑改變有時讓模型跳進更好的解盆地,有時卻等於給一個爛主意更多時間慢慢成熟,淨效果取決於題目結構與運氣。他在旗艦對決 Fable 5 對 GPT-5.6 Sol 上重複了三組配對實驗以縮小隨機性,完整代碼、提示詞、結果表與軌跡筆記全數公開在 CLIArena。
與本站先前報導過的各類 agent 評測相比,這個基準的可貴之處在於它是真實工程問題而非玩具題,而且作者對統計限制毫不遮掩:單一題目、有限重複次數,結論的外推性有限。他自己也把排除案例與失敗軌跡全部留檔,方便他人重跑。
歸剛點評:「模式開關不等於更努力」是這篇最值得帶走的一句話——廠商給的 /goal、深度思考、延長推理這類開關,效果高度依賴任務結構,用之前先在自己的題型上做小規模對照,比迷信開關便宜得多。開源全部軌跡的做法也該成為評測圈標配,敢公開失敗案例的基準才值得信。