GR00T 2 從人類影片學機器人操作,成效仍要看任務難度
Tech News

GR00T 2 從人類影片學機器人操作,成效仍要看任務難度

圖片:NVIDIA
TechLab 編輯部·

輝達發表機器人基礎模型 GR00T 2,以及模擬訓練工具 Isaac Lab 3.0。TechNews 科技新報 報道指出,GR00T 2 可從人類第一人稱影片、手持夾爪示範及機器人遙控操作資料中學習,目標是讓不同形態的機器人更快掌握抓取、插接等精細手部工作。

這項進展對製造、物流及零售自動化團隊的意義,在於減少每一項新工作都要大量收集機器人示範資料的負擔。不過,輝達公布的成功率來自其測試設定,且白皮書承認受測工作傾向選取模型較容易學會的項目,因此不能直接視為一般工廠環境的量產表現。

模型把「看見」與「下一步動作」連結起來

TechNews 科技新報 指出,GR00T 2 被輝達定位為開放的「世界行動模型」。它會結合鏡頭畫面、機器人狀態與文字指令,在產生下一段動作時,同步預測動作可能令眼前場景出現的變化。其單一預訓練模型設定,涵蓋平行夾爪手臂、靈巧手與人形機器人。

來源所載的預訓練資料包括超過 40 萬小時第一人稱人類影片、約 1 萬小時手持夾爪示範,以及 2 萬 3,500 小時機器人遙控操作資料;輝達亦以 CC BY 4.0 授權開放其中 10 萬小時人類資料,可作商業用途。若這種資料遷移方式能穩定運作,企業便可先借助人類示範建立對操作流程的理解,再以少量機器人資料校正實際硬件的動作差異。

官方數據顯示,在每個任務提供一次示範時,GR00T 2 平均成功率為 71%;五次示範時為 95%,每個任務所需的機器人資料少於 3 分鐘,並稱單張 RTX 5090 可在約 30 分鐘完成微調。另在 50 個未經任務訓練的工作中,40 個至少成功一次。這些結果反映少樣本適應的潛力,但「至少成功一次」與持續穩定完成工作是不同門檻,尤其工業現場還有物件擺位、反光、遮擋及零件誤差等變因。

模擬工具可加快訓練,不能取代現場驗證

Isaac Lab 3.0 提供跨物理、彩現與視覺化後端的統一任務 API。TechNews 科技新報 報道指出,搭配 Newton 物理引擎時,它在視覺式靈巧操作基準的訓練速度最高可達前一版本 2.5 倍。

這有助團隊先在模擬環境反覆練習,降低操作真實機械臂的時間與成本;但模擬訓練提速不等於實體機器人同步提升。模型最終仍須面對鏡頭雜訊、摩擦力、零件公差及硬件磨耗等落差。輝達同時推出 Isaac Lab-Arena 0.4 開發者預覽版,並與合作方建立涵蓋零售、物流、組裝及工業操作的基準,後續能否提供可比較且貼近現場的測試結果,將比單一示範影片更具參考價值。

代理式流程提升完成率,但增加系統複雜度

來源指出,若由推理代理安排技能順序、監察進度,並在零件掉落時啟動復原程序,GR00T 2 在從隨機散落零件組裝玩具飛機的測試中,100 次完成 98 次;只用監督式微調則完成 69 次。這顯示高層任務規劃與失敗復原,可能補足單一步驟動作模型的不足。

不過,這也意味實際部署不只取決於 GR00T 2 本身,還涉及代理如何判斷狀態、何時中止或重試,以及整套系統出錯後的安全處理。對工業用戶而言,下一步應檢視不同任務、長時間運作與例外情況下的穩定性,而非只比較單項成功率。

鴻海據報正測試 GR00T 2 用於 AI server 製造自動化,西門子評估工業用途,Nexuni 則測試衣物處理;三者均未宣布正式導入生產。對台灣供應鏈而言,這類測試可反映 AI 機器人正被納入製造流程探索,但現階段仍屬驗證階段。值得持續觀察的,是合作方日後是否公布實際部署範圍、長期可靠度與人員作業流程如何調整。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook