Claude 的 web_fetch 防線被鑿穿:研究員示範用記憶功能偷走用戶隱私
Claude 的 web_fetch 工具原本有一道被業界稱讚的防線:只能抓取用戶明確提供、或先前搜尋與抓取結果中出現過的網址,模型自己動態拼出來的網址一律不給抓。這個設計的目的是堵死最常見的資料外洩手法——惡意指令叫模型把私密資料組進網址、再發request送到攻擊者的伺服器。資安研究員 Ayush Paul 在題為「The Memory Heist」的文章中示範,這道防線有洞可鑽。
攻擊利用的是 Claude 的記憶功能。Paul 的概念驗證顯示,攻擊者可以誘導 Claude 在回應過程中,把記憶裡的用戶全名、現任雇主、甚至安全問題的答案傳送出去,等模型講完話,資料已經到了攻擊者手上,畫面上看不出任何異狀。知名開發者 Simon Willison 撰文分析這個案例,他過去多次肯定 web_fetch 的防外洩設計,這次也直言:有私密資料、有讀取外部內容的管道、又有對外通訊能力,「致命三重奏」湊齊的系統,攻擊面永遠比想像中大。
此事對所有 AI 代理產品都是照妖鏡。記憶功能讓助理更好用,同時也把用戶的隱私集中成一個高價值標的;工具權限每多開一個,攻擊者的排列組合就多一層。防禦方要守住每一條路徑,攻擊方只要找到一條。
歸剛點評:和今天 OpenAI GPT-Red 的新聞對照讀,畫面很完整——一邊用海量算力自動找洞,一邊人類研究員手工鑿穿名門防線。給所有在公司裡導入 AI 助理的人一個實用建議:記憶功能與外部抓取工具同時開啟時,餵給它的敏感資料要當作「有機會被讀走」來管理,權限給得越省越好。
歸剛點評|示範了記憶功能加網路工具的組合如何被串成無聲外洩鏈,對企業導入 AI 助理的權限設計有直接參考價值。
來源:Simon Willison · Ayush Paul