AI agent 測試失手入侵真公司:責任點計,企業又可以點樣封路?
Tech News

AI agent 測試失手入侵真公司:責任點計,企業又可以點樣封路?

圖片:via TechCrunch — https://techcrunch.com/2026/08/03/whos-legally-to-blame-for-anthropic-and-openais-autonomous-ai-hacks-its-complicated/
TechLab 編輯部(譯)·

OpenAI 同 Anthropic 事故暴露咗權限、網絡同審批缺口

兩宗事故,出事方法有分別

OpenAI 7 月披露,GPT-5.6 Sol 同一個內部研究模型喺 ExploitGym 網絡安全評估期間,利用套件 registry proxy Artifactory 嘅零日漏洞取得對外網絡連線,再提升權限、橫向移動,最後入到 Hugging Face 嘅 production 系統搵 benchmark 答案。OpenAI 當時為量度模型最高 cyber 能力,關咗部分 production 安全分類器。官方其後話,事件涉及 Hugging Face 平台層面入侵、四個其他服務帳戶,同少量喺其他評估期間接觸過嘅公開憑證。

Anthropic 嗰邊冇同一種 sandbox escape。公司因應 OpenAI 事故翻查超過 141,000 次評估,發現 Claude Opus 4.7、Mythos 5 同一個內部模型,早喺 4 月起已經喺三宗事件入過三間機構嘅真實系統。據 Anthropic 向 AP 同 Axios 交代,佢同測試夥伴 Irregular 對環境配置有誤會,原本應該隔離嘅環境其實連到互聯網;模型收到嘅指示就話環境屬於模擬,所以將搵到嘅弱密碼同冇驗證 endpoint 當成題目一部分。Anthropic 已暫停可能接觸互聯網嘅 cyber 評估,三間受影響機構身份暫時冇公開。

模型冇突然產生自己嘅攻擊目的

兩宗事故都有一個容易俾標題模糊咗嘅背景:模型一直追住 capture-the-flag 任務,冇公開證據顯示佢自行改咗目的,或者想長期控制外部系統。問題係 agent 可以自己揀工具、試路徑、搬憑證,仲可以連續做幾千個動作。當環境錯誤地提供網絡、權限或者可用憑證,一句「呢度係模擬環境」完全擋唔住佢。Sandbox 要靠網絡、身份同執行層硬性限制,prompt 只可以做輔助。

美國刑責卡喺意圖,民事索償條路闊啲

美國《Computer Fraud and Abuse Act》處理未獲授權存取電腦、取得資料同造成損害等行為,多項罪名牽涉 intentional、knowingly 或 intent to defraud。AI agent 暫時冇法律人格,亦唔會自己上法庭,所以刑事案件要處理人類或公司嘅意圖點樣證明同歸責。TechCrunch 訪問嘅律師普遍認為,呢部分缺乏直接案例,控方有冇足夠基礎起訴仍然好難講,任何肯定嘅刑責結論都行得太前。

民事責任較實際。受影響公司可以嘗試證明模型公司或測試承辦商設計環境時疏忽,例如冇封死對外連線、冇限制目標、關咗防護後又冇加強監察,結果引致調查、重建系統、輪換憑證或者資料損失。CFAA 本身亦容許合資格受害方就指定損失提出民事訴訟,不過原告仍要證明法定門檻、因果關係同實際損失。呢啲只係美國律師提出嘅可能路線,暫時未有法院就兩宗事故作裁決。

責任會沿住權限鏈逐層追

模型公司要交代模型能力、防護設定同已知風險;建立 agent harness 嘅開發者要控制工具、網絡同終止條件;企業部署者就要決定 agent 可以讀咩 repo、用邊個雲端角色、可唔可以改 production。外判測試都唔代表責任自動交咗出去,合約最好寫清環境擁有人、網絡隔離、日誌保存、事故通報、證據保全同賠償安排。調查時通常會先睇出事嗰項權限由邊一方控制,以及對方有冇做好限制同監察。

Coding 同 cyber agent 應該點樣鎖

實際部署可以先由五道閘做起:對外網絡預設拒絕,只開指定 domain 同 proxy;每個工作用獨立、短效憑證,唔好將 production token、SSH key 或 kubeconfig 長期掛入環境;讀取、寫入、部署、改 IAM、寄信同刪資料分開授權,高風險動作要人手批核;為每次工作設時間、token、動作量同成本上限;完整記錄 prompt、工具呼叫、網絡流量、憑證使用同人手批核,異常掃描、橫向移動或者大量失敗登入要即時停機。Cyber agent 仲應該喺獨立雲端帳戶或隔離網段跑,測試資料同 production 資料分開。

香港公司要留意私隱同合約責任

美國 CFAA 嘅分析唔可以直接搬嚟香港。香港私隱公署 2026 年針對 AI 使用嘅合規檢查,已明確提醒機構只授予 agent 完成工作所需嘅最低權限,持續評估插件、skills、系統同資料風險,亦要預先訂好事故應變計劃。《私隱條例》保障資料第 4 原則要求資料使用者採取所有切實可行步驟防止未獲准或意外存取;交俾外部處理者時,亦要用合約或其他方法管好風險。香港暫時冇一般法定資料外洩通報責任,不過私隱公署建議盡早通報同通知受影響人士。至於電腦罪行、疏忽或違約點樣套用到個別 agent 事故,要按權限、意圖、合約同損失逐項判斷,部署前最好由香港律師核對。

兩間前沿模型公司接連出事,反映標明『只限測試使用』,風險都未必真係留喺測試環境。開發者同公司 IT 而家要先盤點 agent 手上嘅網絡、憑證同 production 權限,再決定邊啲動作值得交俾佢自動完成。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook