HA-MCP 加入截圖,讓 AI agent 能檢查 Home Assistant 儀表板
3C 產品

HA-MCP 加入截圖,讓 AI agent 能檢查 Home Assistant 儀表板

圖片:Fabian.a
TechLab 編輯部·

社群開發的 HA-MCP server 新增 beta 截圖功能,讓連接 Claude Code 或 Codex 等 coding agent 的 Home Assistant 用戶,可將 Lovelace 儀表板的實際畫面交給模型檢視。這補上了 agent 過去只能讀取設定、難以判斷版面是否合理的缺口。

不過,這項功能尚屬 beta,並非安裝 HA-MCP 後立即可用。用戶須另行部署可渲染儀表板的截圖引擎,並為它建立 Home Assistant 的長效存取 token;這也令便利性與權限風險需要一併評估。

從讀 YAML 到看見實際介面

HA-MCP 原本已可讓 agent 讀取 Home Assistant 的設定、修改 automation 與 dashboard。問題在於,YAML 或設定結構不會告訴模型卡片有否佔用過多空間、區塊間距是否不一致,或手機畫面上控制項是否變得難以操作。

新工具 ha_get_dashboard_screenshot 可截取支援的 Lovelace dashboard view,直接把渲染圖片回傳給 AI 模型。截圖可指定手機、平板或桌面 viewport,也可擷取整個可捲動頁面,而非只擷取目前可見範圍。

這讓工作流程形成一個較完整的「修改—檢查」迴圈:agent 先讀取 dashboard 設定,再以 ha_config_set_dashboard 改動版面,接著取得新截圖核對結果;系統亦提供在更新 dashboard 後立即取回圖片的選項。從來源的實測描述看,這特別有助於比較桌面與手機佈局,避免卡片在窄螢幕垂直堆疊後拉得過長。

圖片:Fabian.a · CC BY-SA 4.0

部署取決於 Home Assistant 環境

截圖功能目前支援兩個獨立引擎:採用 headless Chromium 的 Puppet,以及 WPE Screenshot Engine。使用 Home Assistant OS 的用戶可把兩者作為 Home Assistant app,從各自的 GitHub repository 安裝;Docker 部署則可使用獨立 container。

原有的 HA-MCP 與 Claude Code 或 Codex 連線設定毋須重建,但必須開啟 beta 功能、安裝截圖引擎,並提供用作驗證的長效存取 token。對熟悉自建智能家居的技術用戶而言,這降低了讓 agent 協助整理 dashboard 的操作成本;同時也增加了一個可讀取 Home Assistant 的元件與憑證,需要納入日常維護範圍。

長效 token 是便利功能的安全界線

長效 token 讓截圖引擎能持續向 Home Assistant 驗證身分,也是此功能最需審慎處理的部分。來源沒有列出權限細節或安全機制,因此不能據此判定其保護程度;但從部署架構可合理推論,用戶應將 token 視為高敏感憑證,避免貼入公開設定、日誌或不受信任的環境,並在不再使用或懷疑外洩時撤銷及更換。

同樣地,讓 agent 取得 dashboard 設定、實體狀態、execution traces 與日誌,雖有助排查 automation 問題,也意味應先界定 agent 可接觸的環境與修改範圍。來源中的示例是要求 agent 改善版面而不變更既有 automation 或裝置設定,這種明確限制可作為實際使用時的基本做法。

現階段,agent 可透過截圖「看見」介面,但尚不能直接點擊按鈕、開啟選單或測試控制項。下一步值得觀察的是 HA-MCP 會否加入這類互動測試能力,以及 beta 截圖引擎在不同 Home Assistant 部署方式下的穩定性與權限管理安排。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook