VideoChat3:全開放的影片多模態模型,訓練資料與程式碼一次公開
影片理解是多模態研究這一年的主戰場,從動作辨識、長影片理解到即時串流互動都在快速推進,但開源模型有三個老毛病:只在特定領域好用、換個影片類型就失靈;計算需求高、跑不動也難擴展;以及最讓研究社群不滿的「半開放」——放出權重,訓練資料與關鍵訓練組件卻藏著不給。VideoChat3 團隊直接把「Fully Open」寫進標題,宣示連資料帶程式碼全部公開。
論文主打「高效且通用」的影片理解:目標是單一模型同時處理多種影片任務與長度,不必為每個領域各養一套。在 Hugging Face 每日論文榜上,這篇拿下當日社群投票前列,反映研究圈對「真開放」影片模型的需求有多迫切——影片多模態的訓練資料整理成本極高,資料不公開,後人就只能從零開始重造輪子,整個領域的迭代速度都被拖慢。
把它放進本站今日的開源主線看:Mozilla 報告說文字模型的開放差距縮到 3.3%,但影片多模態是還沒被填平的窪地——閉源的 Gemini 與 GPT 系列在影片理解上仍明顯領先,開源陣營連個公認的基準線都還在爭。VideoChat3 這類「連資料一起開」的專案,補的正是開源生態最缺的那塊地基。
歸剛點評:判斷一個「開源模型」的誠意,看它敢不敢公開訓練資料就夠了——權重是成品,資料才是配方。影片模型的資料公開尤其難得,因為版權地雷最多、清理成本最高。對做影音內容的團隊,這類模型的實用場景是影片庫的自動標記與搜尋,值得等它的權重放出來後拿自己的素材庫實測一輪。
歸剛點評|影片多模態是開源與閉源差距最大的戰場之一,全開放路線直接決定領域迭代速度。