歸剛誒AI

歸剛欸,AI 又進步了——每天幫你盯 AI 圈的台灣人日報

← 回首頁 · 回第 28 期(2026-07-07)
研究・2026-07-07

DataComp-VLM:160 個資料集、6T 語料,給視覺語言模型一份「資料課綱」

DataComp-VLM:160 個資料集、6T 語料,給視覺語言模型一份「資料課綱」

視覺語言模型(VLM)的能力差距,很大一部分來自訓練資料的策展功力,但這門手藝長期處於煉金術狀態:各家論文用各家的資料配方,彼此沒有可比性。DataComp-VLM(DCVLM)想把它變成科學——用統一的基準做控制變因的 data-centric 實驗。

基準的家底:160 個資料集,橫跨四種資料型態——圖文配對、多模態交錯文件、純文字、指令微調資料——匯成一個 6T token 的語料庫。研究者可以固定模型架構與訓練預算,只動資料配方,直接量測哪種混合比例、哪種過濾策略對下游能力的貢獻最大。

DataComp 這個系列有前科可循:前代的 DataComp 基準催生了 CLIP 訓練資料的系統性研究,直接推動了開源多模態模型的一波品質躍升。方法論搬到 VLM 全訓練管線,等於把「資料工程」從各實驗室的祖傳秘方,變成可以累積、可以引用的公共知識。

開源社群是最大受益者。閉源實驗室的資料優勢建立在資訊不對稱上——他們知道什麼配方有效,你不知道。基準一公開,追趕者至少知道該往哪個方向堆資料,而非燒錢亂試。

歸剛點評|給台灣想自研多模態模型的團隊:與其執著參數量,先把 DCVLM 的實驗結論讀熟——資料配方的免費午餐比架構創新多得多。訓練預算有限的團隊,資料策展是投報率最高的下注點。

同期其他文章