LLM 的研究點子離人類多遠？用「逆向工程靈感來源」來量

越來越多研究者拿 LLM 腦力激盪研究方向，但「AI 想的點子到底行不行」一直沒有好的量尺。既有評估多半請專家對單一點子打新穎性、可行性、偏好分數——主觀、貴、難規模化，而且分數高的點子未必是人類真的會做出來的研究。

論文換了問法：現在的 LLM 點子離人類研究者有多遠？做法是從高品質的人類論文出發，逆向工程出一小組「可能啟發其核心想法」的先前工作，接著把同樣的前置資訊餵給 LLM 請它提研究構想，量測模型輸出與真實論文核心想法的距離。人類研究者實際走過的路，成為有標準答案的評測基準。

設計的聰明處在於繞開了「專家品味」的循環論證：不問「這點子好不好」，改問「給你一樣的知識起點，你會不會想到人類想到的那一步」。差距可以被大規模、可重複地量測，也能拆解出模型是敗在知識整合、還是敗在跳躍性的連結。

搭配第 25 期報導的 DiscoBench（搜尋 agent 何時該反問使用者）一起看，AI for Science 的評測正在從「產出像不像樣」進化到「思考過程像不像研究者」。量尺越準，「AI 科學家」的行銷話術就越難蒙混。