企業部署 AI agent 前，先補上三道安全缺口

圖片：TechLab 自製資訊圖

TechLab 編輯部（譯）·2026-09-02

HiddenLayer 宣布完成 1 億美元 B 輪融資，由 Delta-v Capital 領投，參投者包括 Ten Eleven Ventures、Morgan Stanley、Microsoft 旗下 M12 及 Booz Allen Hamilton。這宗交易的意義不只在於一家 AI 安全初創融資成功，而是企業部署生成式 AI 與 AI agent 後，防護範圍正由「模型有沒有漏洞」擴闊到「agent 在實際工作流程會做甚麼」。對正準備把 agent 接入內部資料、雲端系統或第三方工具的企業而言，安全設計已不能留待上線後才補救。

不過，這仍是一個快速形成中的市場。報道引述 HiddenLayer 行政總裁 Chris Sestito 表示，公司年度經常性收入在過去一年增長逾十倍，現處於數千萬美元水平；這是公司說法，未有披露確實金額。Gartner 則估計，企業今年在保護 AI 工具的產品上支出 28.3 億美元，較 2025 年增加 83%，明年或接近 47.8 億美元。預算上升不代表每種產品已被驗證有效，反而提醒採購與 IT 團隊：AI 安全的需求很真實，但部署成效仍要靠具體控制、測試與營運流程判斷。

第一類：prompt injection 會改寫 agent 的行為邊界

傳統軟件安全常把輸入視為需要驗證的資料；對 AI agent 而言，文字、網頁內容、文件內容或工具回傳資料，同時可能成為影響模型決策的指令。這便是 prompt injection 的棘手之處：攻擊者未必需要取得帳戶權限，也未必直接入侵伺服器，只要設法把惡意內容混入 agent 會讀取的資料，便可能誘導它偏離原來任務。報道指出，HiddenLayer 已把既有產品延伸，以處理 prompt injection、agent manipulation 與惡意工具使用，反映這些風險已成為 agent 場景的主要防線。

企業首先要釐清 agent 可以信任哪些來源，以及哪些內容只可當作不可信資料處理。若一個 agent 需要摘要電郵、讀取網頁或分析上載文件，系統設計便不應讓外部內容直接覆蓋既定任務、資料存取範圍或審批規則。這不是單靠寫得更仔細的 prompt 就可解決；prompt 只是其中一層約束。實務上更重要的是把資料來源、系統指令、工具權限和最終輸出分開處理，並保留可供追查的紀錄。這類控制會增加流程複雜度，但相對於讓 agent 把不可信內容當成操作命令，代價通常較合理。

第二類：工具調用把文字風險變成實際操作

當 AI 只負責回答問題，錯誤答案的影響多數仍停留在資訊層面；當 agent 可調用工具、存取資料庫、建立工單或更改雲端資源時，模型的判斷會轉化為系統操作。報道所說的「malicious tool use」，正是這個轉變下的風險：agent 一旦被操控、理解錯誤或遇上惡意輸入，可能選用不應使用的工具，或在權限過大的情況下執行不合比例的動作。

因此，企業部署 agent 時，工具權限宜按任務細分，而不是因方便而給予廣泛帳戶存取。讀取資料、產生建議、提交變更及刪除或發送資料，應視為不同風險級別的操作；後兩類尤其適合加入政策限制或人工覆核。這是從報道可作出的部署分析：既然安全公司正監察 agent 及其使用的工具和附加元件，企業的盤點對象也不應只包括模型名稱，還應包括每個 agent 能接觸的工具、可做的動作及其身分權限。否則，團隊即使檢查過模型本身，仍可能在工具層留下較大的攻擊面。

第三類：開源模型與檔案供應鏈不能只看名稱

開源或開放權重模型讓團隊有更多選擇，也可能縮短試驗與部署時間，但其模型檔案、框架格式及下載來源本身亦要驗證。Sestito 表示，HiddenLayer 會解析和掃描約 50 種 AI 檔案框架，尤其檢查開源、開放權重模型是否確實為其聲稱的工具；他亦提到模型偽裝成另一種模型，以及「模型之內隱藏模型」的情況。這些描述未足以量化事故規模，卻清楚指出供應鏈驗證已是 AI 安全的一環。

對企業來說，這意味著模型選型不能只比較能力、授權條款與成本，也要確認取得渠道、檔案身分、相依套件和進入生產環境前的掃描程序。特別是由開發團隊自行下載、微調或封裝的模型，採購紀錄與軟件資產清單未必自然涵蓋。若沒有清楚的准入流程，日後即使發現問題，也很難快速回答哪一個業務流程用了哪個版本、是否連接到敏感資料，以及需要停用哪些工作流。這些看似偏管理的要求，實際上決定事故發生時能否控制範圍。

runtime protection 與傳統 EDR 的分別

Sestito 把 runtime security 比作專為 AI 而設的傳統端點偵測及回應（EDR）。兩者的共同點，是在系統實際運行期間觀察行為及偵測異常，而非只在部署前做一次檢查；但監察對象不同。傳統 EDR 聚焦端點上的程式、檔案、執行程序與可疑活動，AI runtime protection 則要面對模型輸入與輸出、agent 的推理流程、工具調用和工作流中的決策。換言之，前者主要追問裝置或工作負載是否遭入侵，後者還要追問 agent 為何作出某個動作、是否受不可信內容影響，以及該動作是否越過政策界線。

這項差異亦說明，企業未必可以直接把現有 EDR 覆蓋視為 AI agent 的完整保障。EDR 仍是整體防護的重要部分，因 agent 所在的端點、雲端工作負載與帳戶同樣可能受攻擊；但它未必看得見 prompt 如何影響模型選擇工具，或判斷某次資料擷取是否符合 agent 原定任務。相應地，AI runtime protection 也不應被當成單一萬用控制，而要和身分管理、權限分隔、記錄、供應鏈檢查及事故回應程序配合。部署團隊最需要避免的，是以新增一套安全產品取代原有治理責任。

融資訊號背後，企業應先驗證甚麼

HiddenLayer 表示，新資金將用於銷售與分銷，同時擴充工程及研究，並計劃拓展歐洲和 EMEA。報道亦提到，Cisco、Palo Alto Networks 及 Check Point 等大型網絡安全公司常以收購方式取得相關技術，而 Noma 與 Zenity 等初創已在相鄰或重疊領域融得逾 1 億美元。市場競爭和平台整合的可能性，意味企業不宜只按供應商目前的宣傳定位作長期押注；Sestito 亦承認，部分功能日後可能被 Microsoft、OpenAI 或 AWS 等平台整合。

較務實的下一步，是在正式把 agent 接入關鍵流程前，先以三個問題審視方案：系統能否抵禦或發現 prompt injection；每一次工具調用能否按權限、政策及審批追溯；所用模型與相關檔案能否驗證來源與完整性。金融服務和大型科技公司目前是 HiddenLayer 的主要客群，報道亦指該公司有美國國防部與情報機構合約，但這不等於其他企業應直接複製其採購方式。隨著 agent 從輔助寫作走向連接業務系統，最值得觀察的是各企業會否把這三類風險納入上線門檻，而非在出現異常操作後才處理。