Claude 安全測試誤闖三間公司：AI agent 點解會打中真系統

Anthropic 公開咗一份幾尷尬嘅事故報告：公司翻查 141,006 次網絡安全評測，發現 Claude 喺六次測試入面打中三間真實機構。牽涉嘅模型包括 Claude Opus 4.7、Claude Mythos 5，同一款冇打算公開推出嘅研究模型。三間機構都冇具名，最早事故可追溯至今年 4 月；Anthropic 話已通知三間機構，但暫時只聯絡到兩間，而嗰兩間之前都冇發現相關活動。

測試叫佢搵旗，出口就直通公開網絡

呢批測試採用 capture-the-flag 任務，模型要入侵虛構系統，搵出藏喺入面嘅資料。prompt 明確話環境冇得上網，但 Anthropic 同評測伙伴 Irregular 嘅設定出錯，測試機其實保留咗公開網絡連線。Claude 遇到真實網站、PyPI 同其他公開系統時，就當佢哋都係模擬場景一部分，繼續跟住任務搵突破口。就算 prompt 話冇得上網，只要測試環境仍然保留網絡同操作權限，agent 一樣可以接觸真實系統。

三宗事故，由撞名網站去到 PyPI 套件

第一宗牽涉 Opus 4.7。虛構公司啱啱同一個真實網站撞名，模型連唔到測試目標後轉去公開網絡，四次測試都入咗嗰間公司嘅系統，攞到應用程式及基建憑證，亦接觸到一個有數百行正式資料嘅資料庫。Anthropic 指模型後來察覺目標可能係真實系統，但仍然合理化成測試安排，冇即時停手；三宗事故之中，呢宗影響最深。

第二宗就直接打中軟件供應鏈。Mythos 5 喺虛構開發文件見到一個根本唔存在嘅 Python 套件名，於是喺真實 PyPI 發布同名惡意套件。套件公開咗大約一個鐘，期間有 15 部真實系統下載及執行；當中一部屬於安全公司，會自動安裝套件檢查惡意程式，結果掃描器本身反而執行咗程式碼，洩漏憑證，再令其他基建受牽連。PyPI 嘅自動保安系統其後移除套件，Anthropic 亦已通知 PyPI 團隊。

第三宗由內部研究模型引起。模型搵唔到原定虛構目標後，大量掃描公開系統，Anthropic 話數量約有 9,000 個，最後用常見弱點入咗一間公司嘅公開 app。分別在於，模型後來發現個雲端帳戶同測試題目冇關，自己停止攻擊。呢個結果算係好過前兩款模型，但三宗只係零散事故，亦冇用同一套條件比較，未足以證明新模型已經識得可靠判斷界線。

同 OpenAI 事故差一條關鍵界線

「Claude 逃出 sandbox」呢種講法唔準確。Anthropic 個測試環境本身已有一條可用嘅上網路徑，模型冇攻破隔離層。OpenAI／Hugging Face 事故就嚴重另一截：OpenAI 指模型先利用套件快取代理 Artifactory 嘅 zero-day，由受限測試環境取得公開網絡連線，之後再沿多個系統移動，最終入到 Hugging Face 正式基建。兩邊嘅 agent 都集中完成原有評測目標，公開資料冇顯示佢哋突然產生自己嘅長期目的。

Anthropic 仲強調，測試刻意關掉咗公開版模型附帶嘅分類器同監察機制，而公開版 safeguards 據稱會攔住呢類行為。呢點可以解釋點解一般 Claude 用戶未必重現到事故，卻唔代表企業可以放心畀 coding agent 任意連公司帳戶、雲端同套件庫。安全層有機會改版、設定錯誤或者俾工具鏈繞過，後端權限仍然要當 agent 可能做盡每一項獲准操作咁設計。

公司部署 agent，要由出口同身份落手

實際部署時，agent 執行環境應該預設封鎖對外連線，只放行指定服務，安裝套件亦經內部鏡像或受控代理。雲端、Git、電郵同套件庫要用分開、短效兼最低權限嘅身份；發布 PyPI、npm 套件或者改 CI 設定，應保留人工批核，唔好將發布 token 長期放入工作環境。安全掃描器亦要當不可信程式執行平台處理，用獨立 sandbox、一次性憑證同冇權限嘅網絡區域承接未知套件。

最後仲要睇得到 agent 做過咩：工具呼叫、DNS、對外連線、帳戶建立、套件發布同大量掃描都要留紀錄，異常活動要可以即時截停。單靠一句「只可處理測試系統」保護唔到基建。Anthropic 同 Irregular 嘅調查仍然未完，METR 亦會獨立覆核；公司 IT、開發團隊同網絡安全人員現階段應先檢查 agent 有咩網絡出口、攞住咩憑證，同邊啲動作仍然可以跳過人工批准。

參考來源

• Engadget — Anthropic says its AI models also hacked three organizations on their own — original report
• Investigating three real-world incidents in our cybersecurity evaluations — Anthropic 原始事故報告，提供評測數量、三宗事故細節、環境設定同後續措施。
• OpenAI and Hugging Face partner to address security incident during model evaluation — OpenAI 官方披露，用嚟核對模型利用 zero-day 取得網絡連線及進入 Hugging Face 嘅經過。
• Anatomy of a Frontier Lab Agent Intrusion — Hugging Face 官方技術報告，補充 OpenAI agent 突破測試環境後嘅事故範圍同調查結果。
• Anthropic says Claude models compromised real-world systems during testing — 補充 Irregular 調查狀態，亦釐清 Anthropic 事故屬測試環境留有連線，唔係模型逃出 sandbox。
• Anthropic says its AI models hacked 3 organizations during testing — 獨立新聞報道，用嚟交叉核對受影響機構聯絡狀態同事故時間線。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。