OpenAI 據報拆散 Preparedness team:新模型安全把關而家邊個負責
Tech News

OpenAI 據報拆散 Preparedness team:新模型安全把關而家邊個負責

圖片:via Engadget — https://www.engadget.com/2237916/openai-reportedly-disbanded-its-preparedness-team-as-part-of-streamlining-process/
TechLab 編輯部(譯)·

重大風險評估工作分拆畀生化、網絡安全等團隊接手

OpenAI 據報喺 7 月底拆散 Preparedness team。呢隊人原本負責評估新模型會唔會大幅提高生化武器、網絡攻擊同自主行動等災難級風險。Financial Times 引述消息指,相關職員已分派去其他團隊,由資深人員分別接手生化、網絡安全等範疇;OpenAI 就將改動形容為精簡架構。截至 8 月 17 日,公司未有公開交代完整新架構,所以「正式解散」同具體分工仍主要來自傳媒消息。

Preparedness 原本把咩關

OpenAI 喺 2023 年成立 Preparedness team,最初由 Aleksander Mądry 帶領,工作包括能力評估、內部 red team、預測模型風險同設計對應防線。當時關注嘅範圍有個人化說服、網絡安全、化學與生物威脅,仲有模型自行複製、適應環境嘅能力。每次前沿模型推出之前,呢隊人會評估模型可能點樣俾人濫用,同埋現有防護係咪足夠。

呢隊同幾個已經消失嘅 OpenAI 安全團隊容易撈亂。Superalignment team 研究點控制能力遠高過人類嘅系統,2024 年解散;AGI Readiness team 偏向政策同社會準備,亦喺同年停運。Preparedness 處理得貼近模型推出流程,主要睇可量度嘅危險能力同防護效果。三隊個名相近,負責嘅層次其實有明顯分別。

OpenAI 據報拆散 Preparedness team:新模型安全把關而家邊個負責

圖片:Wikimedia Commons — Senior Airman Omari Bernard(Public domain)

安全框架暫時仲喺度

OpenAI 2025 年更新 Preparedness Framework 後,正式追蹤生物與化學、網絡安全、AI 自我改進三類能力。長時間自主運作、刻意收埋實力、自己複製、繞過防線同核風險,就先放入研究類別。模型一旦達到 High 門檻,推出前要有足夠防護;去到 Critical,連開發期間都要加控制。測試亦分成可頻密運行嘅自動評估,同由專家深入檢查嘅 deep dive。

OpenAI 到 2026 年 5 月仍公開話,Preparedness Framework 係管理嚴重前沿風險嘅基礎。換句話講,今次消息未足以證明公司取消咗模型推出前嘅風險測試。將生化、網絡安全等工作放入專門團隊,理論上可以令安全研究早啲接上模型開發;代價係跨領域風險容易各自處理,遇到一個同時識搵漏洞、長時間自主工作兼規避監察嘅 agent,邊個負責拼埋成個風險圖,就未有公開答案。

最後拍板權一直喺管理層

公開框架入面,Safety Advisory Group 會睇能力報告、評估防護後仲剩低幾多風險,再向管理層提出建議。不過 OpenAI 寫得好清楚:最終推出與否由 CEO 或獲授權人士決定,管理層亦可以喺冇 SAG 參與下作決定。董事會轄下 Safety and Security Committee 有權睇資料、推翻決定或者要求改動,但 SAG 本身冇否決權。

所以,即使 Preparedness Framework 原封不動,團隊重組仍可能影響實際把關。安全框架最終都要有人執行,包括測試模型、檢查盲點同整合證據;推出時間再趕,都要按既定標準評估。專責團隊拆散後,相關研究有冇資源、由邊個統籌報告、意見可以頂住幾大商業壓力,公開文件答唔到。7 月另一輪重組已將安全團隊納入研究架構,由 Mia Glaese 擴大管理研究同安全工作,呢個方向同今次分散 Preparedness 職能相當吻合。

ChatGPT 同 API 用戶可以點睇

一般用戶未必會即時見到功能改變,公司 IT 或用 API 做 agent 嘅團隊就唔應只靠一句「框架仍然有效」。下一批前沿模型推出時,可以直接睇 system card 有冇交代生化、網絡安全、自我改進同長時間自主運作測試,亦要睇防護報告有幾具體、邊個團隊負責簽字、外部專家有冇參與。如果模型推出速度繼續加快,但公開證據愈寫愈含糊,企業採用時就要自行收緊權限、監察工具調用同保留人工審批。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook