DeepMind 聯手出資千萬美元:當百萬個代理人開始互動,會發生什麼事?
Google DeepMind 與 Schmidt Sciences、英國 ARIA、Cooperative AI Foundation 及 Google.org 共同宣布一項多代理人安全研究徵案,總額上看 1,000 萬美元,6 月 11 日開放申請、8 月 8 日截止,預計秋天公布補助結果。DeepMind AGI 安全與對齊研究負責人 Rohin Shah 講得直白:能不受人類監督執行任務、還會聽從其他代理人指令的 AI 大規模上市,創造出一整類全新的風險,而「多代理人安全目前根本還不存在一個研究領域」,徵案目的就是把科技公司外部的研究量能催生出來。
優先研究方向有三塊:第一是打造沙盒與測試平台,模擬虛擬市集、模擬生態系這類接近真實世界的多代理人環境;第二是理解代理人群體互動時的安全性質,包括集體能力如何湧現——一群個別看起來無害的代理人,湊在一起可能做到單體做不到的事;第三是研究代理人網路如何失靈或變得不穩定,類似金融市場的閃崩,只是主角換成互相喊單的 AI。
搭配 MIT Technology Review 的專訪一起看,DeepMind 的焦慮很具體:單一模型的對齊研究做了這麼多年,但幾百萬個代理人在網路上互相委託、互相談判的場景,學界幾乎一片空白。本站今天社群版正好有單一代理人在 Fedora 社群亂跑就搞得維護者焦頭爛額的案例,把數量乘上一百萬,問題的量級完全在另一個宇宙。
歸剛點評|代理人經濟還沒成形,系統性風險的研究先行是好事。一千萬美元以基礎研究來說只是起手式,重點是把「多代理人安全」立成一個正式領域,讓監管者未來有東西可以引用。