Gemini for Mac 加入代操作桌面 app 功能
3C 產品

Gemini for Mac 加入代操作桌面 app 功能

TechLab 編輯部·

據 9to5Google 報道,Google 正為 Gemini for Mac 加入「computer use」功能,讓 AI 在本機桌面 app 與網頁之間代為點擊和輸入,處理多步驟流程。首輪據稱由即日起向美國英語的 Google AI Plus、Pro 及 Ultra 訂閱用戶分階段推出;目前資料未支持香港的推出時間、語言支援或訂閱安排。

這項功能的重點,在於 Gemini 不只讀取已授權的資料或連接雲端服務,而是能依照指令操作畫面上的介面。例如從本機 PDF 擷取重量、尺寸及地址,再填入貨運報價表;或由多個即時儀表板取出數據和截圖,製作 Google Slides 簡報。報道亦列出批次調色、建立 3D 場景,以及整理二手商品相片、研究定價並建立刊登資料等用途。

與 connector、檔案存取有何不同

Gemini for Mac 原有的 Task 功能可配合 Connected Apps 存取本機檔案,或使用 Gmail、Google Calendar 等已連接服務。這類整合的範圍主要由服務本身提供的資料與功能決定。

computer use 則把操作範圍延伸到介面層:Gemini 可在選定的桌面 app 和網站中尋找選單、按鈕及欄位,再執行點擊與輸入。使用時,據報只要在 prompt 加入 @Computer use;在「Customize > Connectors」中,亦會看到 Desktop 類別 app,包括 Blender 與 Autodesk Fusion,並與既有的 Git、Obsidian 整合並列。

這代表它特別適合處理「資料在 A、整理在 B、提交在 C」的工作。分析而言,價值未必在單一步驟能做得多快,而在於減少人在不同 app、檔案與網頁間反覆複製、切換和填表的時間。不過,介面操作也較依賴畫面狀態;表格欄位、網站流程或 app 介面一有變動,結果仍應由用戶覆核。

背景執行不等於放手交辦

報道稱,Gemini 會在獨立的背景視窗中運作,聊天介面會顯示即時預覽;用戶主畫面和滑鼠游標仍可照常使用,並可一鍵停止。用戶也可選擇 Gemini 可使用哪些 app。

這些設計降低了 AI 佔用整個桌面的干擾,但同時突顯授權範圍的重要性。只應開放完成當前工作所需的 app 和檔案位置,並在預覽中確認它正在讀取或輸入的內容。若工作涉及客戶地址、報價、商業文件、商品庫存或未公開設計檔,應先評估是否適合交由這類跨 app 流程處理。

報道指出,系統會在登入和付款時暫停,敏感操作也需要確認。這是必要的保護,但不應被理解為所有後續內容都會自動正確:在確認前,仍要核對帳戶、付款對象、表單欄位與提交內容,尤其是會對外發布、下單或傳送資料的步驟。

接下來值得觀察的是,Google 對可操作 app、地區與語言的實際開放範圍,以及它如何說明本機檔案與畫面資料的處理方式。對需要頻繁在 Mac 多個工具之間搬移資料的人來說,這些細節將決定 computer use 是節省工時的助手,還是需要嚴格限制權限的自動化工具。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook