Meta AI 測試誤闖第三方系統,三大公司事故指向評測環境配置
Tech News

Meta AI 測試誤闖第三方系統,三大公司事故指向評測環境配置

圖片:via Engadget — https://www.engadget.com/2231446/meta-ai-model-hacked-third-party-irregular/
TechLab 編輯部(譯)·

模型意外獲准上網,未有證據顯示佢自主逃出 sandbox

Meta 確認 Muse Spark 1.1 喺網絡安全評測期間,從原定隔離嘅環境連上公開網絡,跟住利用漏洞進入一個第三方服務。Meta 發言人 Andy Stone 將網絡出口歸因於評測伙伴 Irregular 嘅環境配置失誤。不過受影響公司、漏洞種類、事發日期同實際損害全部未公開,Meta 亦未有完整事故報告。所以「未經授權進入外部系統」有資料支持,但「AI 自己逃出 sandbox」就講得太盡。

同一評測環境已經唔止出事一次

Irregular 向 Bloomberg 話,Meta 呢宗事故冇涉及 sandbox escape,攻擊手法亦唔算複雜。OpenAI 8 月 4 日公開嘅另一宗 Irregular 評測事故,成因幾乎一樣:模型做 capture-the-flag 挑戰時,虛構目標啱啱同一個真實網站同名;測試環境又錯誤開咗網絡出口,結果模型將真網站當成題目,用基本漏洞同搵到嘅憑證進入系統。

Anthropic 早幾日亦公布,翻查 141,006 次網絡安全評測後,搵到三宗 Claude 經 Irregular 環境連上公開網絡、再進入三間機構系統嘅事故。Anthropic 話,模型收到嘅 prompt 明明寫住環境冇得上網,實際配置卻容許外連;部分模型遇到真實系統時,仍當嗰啲系統係模擬場景。三間 AI 公司接連遇到相近問題,反映共用評測環境本身都可能帶來風險。

Meta 官方介紹 Muse Spark AI 模型嘅宣傳圖片

圖片:Meta

Cyber agent 收到嘅任務本身就好進取

呢類評測通常叫模型攻入指定系統、搵出隱藏資料,測試期間仲可能關掉正式產品嘅安全分類器,睇清模型最大能力。換句話講,agent 本身收到嘅指令就係主動搵漏洞同試唔同攻擊路徑。當 prompt 話「全部都係模擬」,網絡配置卻放佢出街,單靠模型自行判斷邊部機先係真實目標,個設計由開局已經好脆弱。

OpenAI 入侵 Hugging Face 嗰宗要分開睇。OpenAI 公開資料話,相關模型原先冇直接網絡出口,後來搵到套件快取代理 Artifactory 嘅零日漏洞,再做權限提升同橫向移動,先去到能夠上網嘅節點。嗰宗確實包含突破隔離嘅攻擊鏈;Meta、Anthropic 同 OpenAI 經 Irregular 遇到嘅事故,公開資料則顯示網絡出口一早因配置出錯而存在。兩類事故嘅技術路徑同嚴重程度差好遠,混埋一個「AI 走甩」故事會睇錯風險。

第三方評測商都要當高權限供應商咁管理

呢批事故最值得公司抄低嘅地方,係獨立評測商唔只交一份分數報告,佢同時控制 agent 跑喺邊、攞到咩工具、見到咩憑證同可唔可以出網。當幾間模型公司共用同一伙伴,一個環境模板或者部署設定出錯,就可能造成跨客戶嘅相關風險。簽約時寫明「隔離環境」唔夠,啟動前要由雙方各自驗證網絡出口、DNS、代理、憑證同目標範圍,仲要保存測試證據。

公司自己部署 coding 或 cyber agent,權限設計可以直接啲:每個 agent 用獨立、短效身份,只開任務用得着嘅 API、目錄同 repository 權限,唔好共用開發者個人 token,仲唔好將 production 管理員憑證塞入環境變數任佢讀。只要任務唔涉及寫入,就用唯讀權限;部署、刪除資料、改防火牆或者開新帳戶呢類高影響操作,要另設人工批准。

網絡方面應該預設封鎖外連,再按任務加入 allowlist;安裝套件可以經內部鏡像或者受控代理,agent 執行區同 production 網絡亦要分段。記錄就要包括 prompt 版本、工具呼叫、shell 指令、連線目的地、權限決定、批准人同輸出結果,同時過濾密碼同 token。偵測到掃描範圍突然擴大、嘗試建立外部帳戶或者大量連線時,就要即時告警,亦要準備一個可以撤銷憑證、截斷網絡同終止工作階段嘅 kill switch。

Meta 仲欠一份完整交代

Irregular 話相關問題已經處理,亦正準備白皮書講安全運行 cyber eval 嘅做法。不過 Meta 呢宗事故暫時主要得發言人確認,未交代點樣發現、持續幾耐、第三方有冇收到通知,同埋有冇獨立覆核。喺呢啲資料公開之前,責任點分仍然未有足夠證據落結論;有運行可執行操作 agent 嘅開發團隊,則可以即刻翻查網絡出口、共用憑證同停機機制。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook