AI agent 嘅風險未必出喺最後答案：TraceSafe 追查工具呼叫途中問題

最後答案正常，中途一樣可以出事

用 Codex、Claude Code 或接駁 MCP 嘅企業 agent，大家通常先睇 prompt 有冇古怪，再檢查最後答案啱唔啱。不過 agent 做一個任務期間，可能讀幾十個檔案、跑 shell、問 API，再把外部網頁內容塞返入 context。只要其中一次工具呼叫越權、帶錯參數或者夾帶憑證，損害喺答案出現之前已經發生。 最後佢就算只答一句「任務完成」，都唔代表成段執行過程安全。

iThome 報道，奧義智慧資料科學研發處長楊政霖喺 CraftCon Taiwan 2026 提出，agent 安全要當成 runtime security 處理，重點放喺完整執行軌跡。呢個講法幾貼近實際開發：傳統 chatbot 主要產生文字，agent 就拎住權限做動作，風險自然跟住每次 read、write、exec 同 API request 一路走。

TraceSafe 專門睇工具呼叫中途

奧義智慧 AI Lab 同台大研究人員發表嘅 TraceSafe，嘗試用 TraceSafe-Bench 評測 guardrail 能唔能夠看懂多步工具呼叫。公開資料集共有 1,170 條軌跡紀錄，研究團隊將安全軌跡改造成唔同故障案例，涵蓋 12 類風險同一組正常基準；研究測試咗 13 個充當 guard 嘅通用模型，同 7 套專門 guardrail。作者稱佢係首個全面針對 mid-trajectory safety 嘅 benchmark，但呢句屬作者主張，暫時未有獨立研究替佢定案。

12 類風險可歸入四組。第一組係藏喺工具定義或工具回傳內容入面嘅 prompt injection；第二組係用戶資料、一般數據同 API key 洩漏；第三組包括 agent 捏造根本冇嘅工具或參數值、參數定義含糊、加多咗參數、缺少型別提示；最後一組就係 API 版本撞車或者工具描述同實際功能對唔上。呢個分類有價值，因為佢將惡意攻擊同普通工程失誤放入同一個測試面：兩者都可能令 agent 做錯動作。

識擋 jailbreak，未必識睇 JSON

論文結果最值得拆嘅位，係 guardrail 判斷工具軌跡嘅表現，同結構化資料理解測試有頗強關聯，研究報告嘅相關系數為 ρ=0.79；同一般 jailbreak 防禦測試就接近冇關聯。研究亦發現，通用模型整體上贏過專門安全 guardrail，而模型架構帶來嘅差異大過單純睇規模。換句話講，一套系統好識攔有害句子，面對巢狀 JSON、工具 schema、版本衝突同前後參數變化時，照樣可能睇漏眼。

呢點放落 coding agent 特別明顯。惡意指令可以藏喺 README、issue、套件文件或者 MCP 工具回傳值；agent 讀完之後，可能把環境變數送去外部 endpoint，又或者自行改寫部署設定。另一邊廂，就算完全冇攻擊者，含糊嘅參數名稱、過期工具描述同寬鬆 schema，都足以令人批核咗 A 動作，agent 實際執行 B 動作。自然語言安全過濾器處理唔晒呢類結構同狀態問題。

開發團隊可以點樣收窄風險

第一步係替每次工具呼叫留低結構化紀錄，包括 agent 同模型版本、工具名稱及版本、參數、回傳結果來源、權限範圍、前後狀態、批核人同最終結果；記錄前要遮走 token、密碼同個人資料，免得 audit log 反過來變成洩漏源。告警亦要睇成段軌跡，例如 agent 先讀憑證檔案，跟住突然呼叫陌生網域，兩步分開睇未必可疑，連埋先見到問題。

第二步係喺模型以外加限制。MCP 工具同 API 應該用 allowlist、最小權限、短效憑證、嚴格 schema、參數範圍驗證同對外連線限制；刪檔、付款、發訊息、改 production 設定呢類高影響動作，就要喺真正執行前由人確認，而且批核要綁定工具同實際參數。OWASP 嘅 AI Agent Security Cheat Sheet 同樣建議隔離任意程式執行、限制重試及工具鏈長度，亦唔好交由模型自行決定授權。

Benchmark 同 production 防護仲有段距離

TraceSafe-Bench 用系統化改造嘅軌跡測試偵測能力，適合做模型、guardrail 或規則引擎嘅回歸測試；佢冇證明某套 guardrail 接上 production agent 後，就可以即時阻止真實攻擊。資料來源、工具組合、權限設計、延遲要求同誤報成本一變，結果亦可能跟住變。論文截至 2026 年 7 月仍係 arXiv v1 preprint，未見論文頁列出同儕審查或正式會議接納資料。

比較實際嘅做法，係把呢類 benchmark 加入 CI/CD，每次改 prompt、模型、MCP server、工具 schema 或權限政策就重新跑；production 端再配合執行前授權、隔離環境、DLP、速率限制同完整 audit trail。採用 coding agent 或企業自動化嘅團隊，下一輪安全檢查應該由完整工具軌跡開始，逐項確認每個動作睇得到、攔得到，出事後亦追查得到。

參考來源

• iThome — Agent安全即Runtime安全！奧義智慧揭露代理式AI的關鍵風險 — original report
• TraceSafe 論文（arXiv） — 核對論文作者、版本、研究方法、測試對象同主要發現
• TraceSafe-Bench Dataset Card — 核對 1,170 筆紀錄、12 類風險、資料結構同適用範圍
• TraceSafe GitHub — 研究團隊公開嘅 benchmark 程式碼同專案資料
• OWASP AI Agent Security Cheat Sheet — 補充最小權限、工具驗證、人手批核、監察同安全測試建議
• OWASP：Excessive Agency — 補充外部授權檢查、唯讀權限、人工確認同速率限制原則

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。