Gemini Robotics 2 由機械臂行到全身控制,識執垃圾離做家務仲有幾遠?
Tech News

Gemini Robotics 2 由機械臂行到全身控制,識執垃圾離做家務仲有幾遠?

圖片:via Engadget — https://www.engadget.com/2227268/google-gemini-robotics-2-platform-intelligent-whole-body-control/
TechLab 編輯部(譯)·

三個模型分工做規劃、動作同本機運算,示範搶眼但量產仲未有期

Google DeepMind 公布 Gemini Robotics 2,示範入面嘅人形機械人識行去枱邊拎水壺、彎身放入低層架,又可以執垃圾、扭燈膽同綁垃圾袋。Google 向媒體強調片段係即時運行,機械人亦係全自動,不過全自動只代表拍攝嗰刻冇人遙控,唔代表佢見到任何新環境都識處理,兩件事要分清楚。

由枱面機械臂升級到手腳一齊郁

上代 Gemini Robotics 主要控制人形機械人上半身,工作範圍大多留喺枱面;今代就連行路、蹲低、伸手、保持平衡同手部動作都一併控制。呢個改動幾關鍵,因為現實工作好少會乖乖放喺機械臂面前。執屋要周圍行、貨倉要跨工作區、清潔亦要伸入高低唔同嘅位置,識控制手指同識控制成副身體,難度差成幾級

官方話同一個 Gemini Robotics 2 模型 checkpoint,可以控制配上兩款手掌嘅 Apptronik Apollo 2,同埋用夾具嘅 Franka Duo。換句話講,Google 想建立一套可以搬去唔同機身嘅控制底層,減少每款硬件由零開始訓練嘅工夫。不過官方圖表只形容全身同夾具工作有中至高成功率,五指精細操作仍然棘手,亦冇交出一套足以橫向比較嘅完整公開成績。

Gemini Robotics 2 人形機械人蹲低伸手接近地面上嘅水壺

圖片:Google DeepMind

聽得明指令,靠三個模型分工

成套平台其實分三層。Gemini Robotics ER 2 負責理解自然語言、觀察環境、拆解步驟同追蹤進度;Gemini Robotics 2 VLA 會根據鏡頭畫面同指令控制馬達;On-Device 2 就可以直接喺機身運行,減少連線延遲同斷線影響。睇清呢個分工,就明白機械人「諗下一步」同「隻手點郁」係兩套問題,Google 今次係嘗試把兩邊接得順啲。

自行修正亦係咁運作。ER 2 會持續睇影片,判斷工作做到邊;如果物件滑走、位置對唔準或者某一步失敗,佢可以叫動作模型再試,唔使成個流程由頭開始。Google 公布嘅內部評估入面,ER 2 喺進度分類錄得 57.4% 準確率,搵出關鍵時刻就有 91.3%,平均時間誤差 0.96 秒。數字顯示追蹤進度已有用,但57.4% 亦反映長時間工作仍然有相當多判斷空間,未到可以完全放手畀佢做。

多機協作有意思,距離機械人執屋隊仍然遠

Gemini Robotics 2 亦加入多機協作,ER 2 可以按各部機械人嘅能力分配工作,再經共同語意交代進度。例如輪式機械人負責快速巡查,人形機械人負責拎高低位置嘅物件,雙臂平台就處理精細工序。呢條路對物流同清潔幾合理,因為一部昂貴人形機械人包辦所有工作未必化算;不過而家見到嘅仍然係官方設定好機種、場地同流程嘅示範,未見獨立團隊驗證繁忙環境下會唔會互相阻路或者錯誤交接。

示範做到,離穩定商用仲差可靠度同安全驗證

Engadget 引述資料指,影片入面每項工作都用過人手遙控數據、示範影片同模擬環境訓練。官方亦承認動作速度、精準度同五指操作仲要改善。真正家務或商用部署面對嘅物件擺位、光線、地面、人同突發情況每日都唔同,機械人連續做幾百次都唔出大錯,要求高過剪出一段成功片好多;一次漏水、跌貨或者撞到人,代價亦遠高過 chatbot 答錯一句。

安全方面,Google 加入 ASIMOV-Agentic benchmark,測試 ER 2 會唔會拒絕危險動作、察覺附近有人、停機同主動求助。不過官方 model card 同時提醒,開發者唔應把模型用喺醫療、交通等失誤可致傷亡嘅關鍵場景;On-Device 2 對訓練分佈以外工作同高自由度機械人亦有限制,而全身移動風險未納入佢現有主要評估範圍。安老場景可以想像到用途,但現階段仲適合有人看管嘅輔助工作。

開發者摸到個腦,完整身體仍只限合作夥伴

ER 2 已經可以經 Gemini API 同 Google AI Studio 使用,企業平台就屬私人預覽;真正控制身體嘅 VLA 同 On-Device 2,暫時只開放畀早期合作夥伴。官方未公布消費產品時間表、售價、香港供應或者本地專屬申請渠道。短期內,開發者較實際係先試工作規劃、影片進度判斷同現有機械人 API 整合;家中買一部返嚟執屋,仲要等獨立長期測試、硬件成本同維修配套有清楚答案。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook