Microsoft ASSERT：AI agent 上線前，點樣測到亂用工具同資料外洩？

AI agent 最危險嘅位，唔係答錯一句咁簡單，而係佢會查文件、叫工具、發 email、改工單，甚至喺多輪對話入面慢慢偏離原本規則。Microsoft 喺 2026 年 6 月 2 日開源 ASSERT，全名係 Adaptive Spec-driven Scoring for Evaluation and Regression Testing，目標係將「呢個 agent 應該做咩、唔應該做咩」變成可跑、可檢查、可重複嘅 eval。

ASSERT 嘅做法係先由自然語言 spec 入手：例如客服 agent 只可以喺指定門檻下退款、文件 agent 唔可以將機密摘要畀非授權人、研究助理唔可以跟工具輸出入面嘅 prompt injection。框架會將呢啲描述拆成行為 taxonomy，生成單輪 prompt 同多輪 scenario，再跑目標模型、app 或 agent，最後用 LLM judge 按 rubric 打分，輸出 taxonomy、test_set、inference_set、scores 同 metrics 等本地 JSON / JSONL artifact。

trace 先係核心

最值得留意嘅唔係「用文字生測試」本身，而係 ASSERT 會盡量睇 agent 內部路徑。官方文件寫明，透過 OpenInference / OpenTelemetry trace，judge 可以睇到 tool call、tool argument、routing、model call、latency 同中途狀態，而唔係淨係望最終答案。呢點對 AI agent 好關鍵：一個答案表面正確，但中途用錯工具、讀咗唔應該讀嘅文件，傳統文字 eval 好容易放過。

支援面暫時幾廣：OpenInference 覆蓋 OpenAI Agents SDK、LangGraph、LlamaIndex、AutoGen、CrewAI、DSPy 等框架；LiteLLM 就畀 ASSERT 接駁 100+ model provider。換句話講，佢想做嘅唔係另一個封閉 observability 平台，而係一個 local-first eval harness，等團隊可以將 spec、trace、score 留喺自己 artifact 入面，放入 CI 或 release gate 比較容易。

唔好當成安全證書

但 ASSERT 仍然係好早期。GitHub release 顯示 v0.1.0 喺 2026 年 6 月 2 日發布；截至同日 repo 只得 4 stars、2 forks，未有足夠社群實戰訊號。Microsoft 自己都喺限制文件講明，scenario-based eval 唔保證系統安全，測試連住真實工具時仲可能觸發改資料、外發訊息、建立 ticket、外洩敏感內容等副作用，所以 sandbox、合成資料、受限 credential 同人工覆核都唔可以慳。

LLM judge 亦係另一個弱點。Microsoft 官方 blog 提到內部 validation 入面，judge 同人手標註通常有 80% 至 90% agreement，但同時承認 judge model 會因嚴格程度、邊界敏感度同 domain 差異而波動。實際採用前，最好睇三樣嘢：

• taxonomy 有冇寫清楚：太闊嘅「唔好亂用工具」測唔出清晰故障。
• trace 有冇足夠證據：冇 OpenTelemetry trace，judge 只可以靠最終回覆估。
• 分數有冇人手抽查：LLM judge 係調查線索，唔係合規結論。

點解而家重要

AI eval 市場本身已經有 Promptfoo、DeepEval、Stanford HELM、MLCommons AILuminate、METR 等工具同 benchmark。ASSERT 嘅差異係將產品 spec 同 policy 放喺 eval 入口，而唔係先揀通用分數再套落產品。對做 AI 客服、內部 Copilot、文件 workflow 嘅團隊，問題通常唔係「模型有冇禮貌」，而係「佢有冇喺正確權限下，按正確步驟用正確工具」。

喺香港，呢件事最實際嘅位係金融、醫療、教育同大型企業內部 workflow。私隱專員公署 2024 年 AI 個人資料框架已經提到風險評估、人手監督、測試驗證、traceability 同持續監察；金管局 GenA.I. Sandbox 亦聚焦銀行風險管理、反詐騙、客戶體驗同大量文件處理。ASSERT 唔會自動令呢啲 workflow 合規，但佢提供一條工程化路徑：將 policy 寫成可跑嘅測試，再用 trace 搵出 agent 喺邊一步越界。

參考來源

• TechCrunch — New Microsoft tool lets devs spin up AI behavior tests using text descriptions — original report
• Turn specs into evals for any agent with ASSERT — Microsoft 官方技術文，解釋 ASSERT pipeline、validation 同實用限制。
• responsibleai/ASSERT GitHub repository — 官方 repo，確認 MIT、local-first、framework-agnostic、trace-aware、v0.1.0 release 同支援框架。
• ASSERT Concepts: Risks and limitations — 官方限制文件，確認 side effects、敏感資料 artifact、LLM judge 同合規限制。
• ASSERT Callable Target documentation — 確認 OpenTelemetry trace、OpenInference 支援同 plain callable / LiteLLM / OTel visibility 差異。
• Promptfoo: LLM evals & red teaming — 同類開源 eval / red teaming 工具，用作行業脈絡比較。
• Privacy Commissioner’s Office Publishes Artificial Intelligence: Model Personal Data Protection Framework — 香港 AI 個人資料治理 reference，支持風險評估、測試驗證、traceability 同持續監察角度。
• HKMA announces inaugural cohort of Gen.AI Sandbox — 香港金融界 GenAI use case 背景，支持銀行風險管理、反詐騙、客戶服務同文件處理脈絡。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。