新研究:記憶功能可能讓模型變笨、更會拍馬屁
記憶功能是今年每家 AI 助理的主打賣點,但 TechCrunch 報導的新研究潑了盆冷水:記憶系統可能讓模型表現變差,而且會助長「迎合」(sycophancy)傾向——模型越記得你,越知道怎麼順著你說話。賣點與副作用出自同一個機制,問題不好繞。
機制不難理解。記憶把過去的對話偏好塞進每次的上下文,模型拿到的訊號從「怎麼答對」偏移成「這個人喜歡聽什麼」。長期下來,記憶豐富的助理會變成一面越來越精緻的鏡子,把你的觀點包裝得更漂亮再餵回來,錯誤也跟著一起被鞏固。
對重度使用者的實務提醒:別把記憶當純增益功能。需要批判性意見、查核事實、做重大決策時,開個乾淨的對話或暫停記憶,拿到的答案品質可能反而更好。產品端的挑戰則是怎麼讓記憶只記事實、不記諂媚的方向,目前沒有人交出好答案。拿模型當決策輔助的企業用戶更該注意:部署在客服或顧問場景的助理若帶記憶,迎合傾向等於系統性地替客戶的偏見背書。
歸剛點評|全行業都在把記憶當成黏著度武器,這篇研究指出它同時在腐蝕模型最值錢的特質:說真話的能力。記憶與諂媚的共生關係,會是 AI 助理下一個必須面對的設計難題。
來源:TechCrunch