Raycast「Dictate to AI」把語音與當前畫面一併交給 AI
3C 產品

Raycast「Dictate to AI」把語音與當前畫面一併交給 AI

圖片:TechLab
TechLab 編輯部(譯)·

Raycast 在 v2.11 加入「Dictate to AI」指令,用戶可直接說出要求,系統同時把目前活躍 app 的脈絡交予 AI Chat,減少複製文字、附上截圖或另行解釋畫面的步驟。對經常在文件、程式碼、網頁及工作訊息之間切換的 Mac 與 Windows 用戶,這類操作可把提問流程壓縮成一次語音指令。

最重要的限制同樣清楚:功能的價值來自螢幕脈絡,因此用戶應先判斷當前視窗是否包含客戶資料、公司內部文件、帳戶資訊或其他敏感內容。報道未交代語音、螢幕資料的具體處理方式、保留時間、帳戶方案限制,以及不同 AI 模型的設定和資料政策;在這些資料未獲說明前,不宜假定所有內容都適合送往 AI。

語音輸入不再要先「講清楚背景」

Raycast 此前推出 Screen Awareness,容許把活躍 app 或視窗的內容直接帶入 AI Chat。Dictate to AI 則把語音輸入接到這項能力:用戶說出問題時,AI 可同時取得正在觀看的內容作為上下文。

這改變的是工作流,而非單純新增一個聽寫按鈕。例如,用戶可在開啟中的文件、網頁或其他工作視窗上直接提出修改、整理或查詢要求,毋須先手動摘錄重點再寫 prompt。實際回答質素仍取決於畫面內容、語音指令是否清楚,以及所選 AI 的能力;自動帶入脈絡可減少描述成本,但不保證判讀無誤。

Mac 與 Windows 的分工

報道指,Windows 版的 Screen Awareness 新增指令,可把個別元素或整個視窗傳送至 AI Chat。這為 Windows 用戶提供較明確的送出範圍選擇:當只需討論某一部分內容時,未必需要交出整個畫面。

Mac 方面,v2.11 新增選單列 AI 用量顯示,可在「Settings → AI → Show AI Usage in Menu Bar」開啟;另有 Contacts AI extension,讓用戶在 AI Chat 搜尋、建立、更新及刪除聯絡人。更新亦加入 Dictation AI extension,支援把聽寫文字用於 AI Chat、管理寫作風格及取得相關回饋。

權限便利,同時擴大操作後果

Screen Awareness 與聯絡人 extension 分別涉及螢幕資料及通訊錄內容。前者的風險在於視窗可能出現原本無意分享的資訊;後者則容許 AI Chat 建立、更新甚至刪除聯絡人,屬會改變資料的操作。用戶啟用前應確認所授權範圍,並在處理敏感畫面時避免使用相關指令;涉及聯絡人的結果亦宜先核對再採納。

Raycast 同期亦更新 Notes、iOS 鍵盤及 Cloud Sync,並稱 Mac app 改善搜尋速度及降低記憶體用量。不過,對日常工作最有影響的仍是「以語音連同畫面提問」這種交互方式。下一步值得觀察的是 Raycast 是否會進一步清楚說明螢幕與語音資料的處理規則,以及讓用戶更細緻控制哪些內容可交給 AI。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook