字節跳動 Seed 組建 AI 安全團隊：agent 部署要補上監控與測試一環
字節跳動旗下 AI 研究部門 Seed 已成立「對齊與預備」（Alignment & Preparedness）團隊，並計劃全球招聘約 10 名研究人員。據 TechNews 科技新報 報道，職位設於北京、上海及美國加州聖荷西，團隊將獲得與前沿模型研究團隊相若的運算及研究資源。
這次消息的重點不在於新增一個研究部門，而是 Seed 把安全與對齊定位為模型大規模部署的核心能力。對準備把 AI agent 接入內部系統的企業而言，模型能否回答問題只是起點；當 agent 可連接資料、調用工具並完成多步任務後，如何限制其權限、發現失當行為，以及在事故前找出漏洞，會直接影響能否上線。
從訓練延伸至部署期的安全流程
TechNews 科技新報 報道引述 Seed 的招聘資訊指，新團隊的研究範圍涵蓋模型開發各階段：安全訓練、自動化漏洞測試、模型行為監控及解釋工具、AI agent 測試環境，以及針對新興風險的預備工作。Seed 亦表示會尋求獨立測試，並與大學和研究機構合作，把相關研究用於模型訓練、評估及部署。
這套安排反映一項實際取捨：agent 的自主性愈高，可完成的工作愈多，但系統行為也更難只靠一次性測試掌握。紅隊測試可嘗試誘導模型越權或濫用工具；行為監控則用於部署後持續觀察；可解釋工具則有助團隊追查模型為何作出某項決定。三者各自不能取代對方，企業若只在上線前做一次評測，未必足以應付功能、資料來源或工具權限更新後出現的新風險。
對企業採用 agent 的啟示
從 Seed 公開列出的工作方向可作合理推論，往後的 agent 安全評估不宜只看模型是否拒答危險要求，也要涵蓋它在實際工作流程中能接觸甚麼資料、可以執行哪些操作，以及異常行為能否被及時發現和中止。這亦意味着開發、IT 與資安團隊需要共同定義測試情境和可接受的權限範圍，而非把安全完全交由模型供應商處理。
不過，現時披露的是團隊成立和研究招聘計劃，並非已推出的安全產品或已驗證的能力。TechNews 科技新報 報道提到，中國官媒《澎湃新聞》稱 Seed 是中國首個設立獨立安全與對齊部門的前沿 AI 研究實驗室；此說法屬該媒體的表述，報道所載資料未提供獨立核實。
下一步值得觀察的是，Seed 日後會否公開具體評估方法、獨立測試結果，以及這些研究如何落入實際模型和 agent 的部署機制。對採用 AI agent 的開發者、企業 IT 與資安團隊來說，這些可檢視的措施會比招聘公告更能判斷安全投入的實際效果。
延伸閱讀
AI 輔助說明： 本文由 AI 協助整理，並經兩輪獨立自動品質審核；資料及連結仍以原始來源為準。
參考來源
- TechNews 科技新報 — 防範 AI 代理風險！字節跳動成立 AI 安全團隊，擬啟動全球招聘計畫 — original report
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
