LeRobot v0.6.0:先想像、再評分、失敗變教材,機器人學習閉環補齊
Hugging Face 的開源機器人學習庫 LeRobot 發布 v0.6.0,主題定為「想像、評估、改進」,一句話總結:把機器人學習的迴圈接起來。新版收錄一批會「先想像未來再行動」的世界模型策略(VLA-JEPA、FastWAM、LingBot-VA),以及新一波視覺語言動作模型(GR00T N1.7、MolmoAct2、EO-1、EVO1 等)。
其中 Multitask Diffusion Transformer 把豐田研究院 Large Behavior Models 的配方帶進 LeRobot:約 4.5 億參數的擴散 transformer,以 CLIP 視覺與語言嵌入為條件,一個模型學會多種任務,用自然語言指定要做哪一件。機器人界的「通用模型」路線,正從論文走進開源套件的預設選單。
迴圈的另外兩塊拼圖:新的獎勵模型 API(Robometer、TOPReward)補上「機器人到底做成沒有」的成功偵測與進度估計,長期以來這塊在開源生態裡沒有標準做法;lerobot-rollout CLI 支援 DAgger 式的人在迴圈修正,部署時的失敗紀錄直接轉成下一輪訓練資料。搭配統一在 lerobot-eval 下的六個新模擬基準、FSDP 訓練與 HF Jobs 雲端訓練,訓練、評估、部署、回收數據,四站都有站牌了。
工程細節也有感:資料集支援深度圖、自動語言標註管線、自訂影片編碼,載入速度最高快 2 倍,從大型資料集載入子集從 275 秒降到 0.06 秒。玩過舊版被資料載入卡到懷疑人生的人,光這一條就值得升級。
歸剛點評|具身智慧的開源堆疊正在重演 LLM 生態三年前的路:先有模型動物園,再有評測基準,然後是資料飛輪。台灣做機器人跟自動化設備的團隊,現在進場摸 LeRobot 的成本最低——整條訓練到部署的管線都是現成的,缺的只剩你家產線的資料。
來源:Hugging Face