歸剛誒AI

歸剛欸,AI 又進步了——每天幫你盯 AI 圈的台灣人日報

← 回首頁 · 回第 30 期(2026-07-09)
研究・2026-07-09

CanvasAgent:用視覺工具編排,讓複雜的圖像生成與編輯自動接力

CanvasAgent:用視覺工具編排,讓複雜的圖像生成與編輯自動接力

一篇新論文 CanvasAgent 針對一個實際痛點下手:複雜的圖像創作與編輯,往往一個生成或編輯模型搞不定。使用者一個請求裡,可能同時要合成新圖、要在圖裡精準定位某個物件、又要局部編輯——這需要好幾種能力接力,而不是單一模型一步到位。CanvasAgent 想當那個把流程串起來的總指揮。

它的核心是「視覺工具編排」(visual tool orchestration):讓一個代理去理解使用者的複雜意圖,把任務拆解成一連串子步驟,再調度合適的視覺工具依序完成——這張圖先生成、那個物件先定位、這塊區域再編輯。這其實是把近年很紅的 agent(代理)調度工具的思路,從文字、程式碼領域搬進了影像創作。

價值在於,真實世界的創作需求本來就是多步驟、有先後依賴的,而單一模型再強也難兼顧所有子任務。用一個會規劃、會調度的代理當中樞,等於把散落的專用工具組成一條自動化生產線,讓使用者只需講清楚要什麼,中間繁瑣的接力交給系統。這也呼應了今天 Meta Muse 強調的「agentic 生圖」大方向。

歸剛點評:影像生成的下一步,多半就是這種「代理調度多工具」的路數——因為專用模型各有所長,硬要一個模型全包不划算。把它們編排起來更務實。難點在於代理的規劃能力夠不夠聰明、拆解對不對,一步錯後面全歪。方向清楚,成敗看調度的腦子。

歸剛點評|把 agent 調度工具的思路搬進影像創作,反映生成式 AI 從『單一模型全包』走向『多工具編排』。

同期其他文章