NVIDIA 拉巨企搞開源 AI 保安聯盟:先睇 NOOA 做到咩
Tech News

NVIDIA 拉巨企搞開源 AI 保安聯盟:先睇 NOOA 做到咩

圖片:via Engadget — https://www.engadget.com/2223796/nvidia-launches-open-securte-ai-alliance-initiative-to-improve-cyber-defense/
TechLab 編輯部(譯)·

聯盟仲未有章程,NOOA 就已有 code,但仍屬研究預覽

NVIDIA 拉埋 Microsoft、Cloudflare、CrowdStrike、Hugging Face、IBM、Red Hat、Linux Foundation 等一大批公司,成立 Open Secure AI Alliance,話要共同開發開放工具,保護軟件同 AI agent。成員名單睇落幾有份量,不過今次值得拆開睇:聯盟本身仲係倡議,NVIDIA 同部分成員攞出嚟嘅個別工具就真係已經存在。

聯盟個殼仲未砌好

Open Secure AI Alliance 官方網站而家只有「Coming soon」,NVIDIA 公告亦未交代章程、決策方式、資助安排、roadmap、技術標準或者成員要履行咩承諾。Cloudflare 同 CrowdStrike 雖然喺創始成員名單入面,公告冇講兩間公司會公開邊套技術。換句話講,暫時見到嘅係一個大型業界陣容,同一批由成員各自開發緊或者已經公開嘅項目,未形成一套可以直接部署嘅統一保安方案。

呢個聯盟沿住 Linux Foundation 嘅 Akrites 同 OpenSSF 再發展。Akrites 已經有較清楚嘅職能,包括協調開源漏洞修補、管理負責任披露,同設立共用 Security Incident Response Team。Open Secure AI Alliance 就再推前一步,將範圍擴到模型、agent harness、身份、執行環境同 coding workflow。不過兩者點分工、聯盟會唔會交由獨立基金會管理,官方暫時冇講明。

NVIDIA NOOA agent harness 技術文章嘅主視覺

圖片:NVIDIA

Agent harness 其實控制緊成副身體

Coding agent 背後個模型只負責判斷下一步做咩;agent harness 就係包住模型嗰層執行系統,負責畀 context、接駁工具、保存狀態、執行指令、限制權限,同判斷任務幾時完成。模型提出改檔、跑測試、讀 secret 或者連外部 API,最後做唔做得到,全靠 harness 點處理。

所以只睇 agent 最後交咗一個正常 patch,未必代表過程安全。2026 年一項 harness 審計研究發現,違規情況主要集中喺資源存取同 agent 之間嘅資料傳送,而且任務行得愈長,風險會累積。對公司 IT 嚟講,最基本要問嘅係 agent 用邊個身份執行、可以掂邊個 repo 同 credential、網上連線有冇限制、每次工具呼叫有冇完整紀錄,出事後又追唔追到成條路徑。

NOOA 有 code,但唔係即裝即安全

NVIDIA 今次最具體嘅交付係 NVIDIA Labs Object-Oriented Agents(NOOA)。佢已經喺 GitHub 公開,採用 Apache 2.0 授權,將 agent 寫成一個 Python class:fields 保存狀態、methods 代表能力、docstrings 放 prompt、type annotations 就做輸入輸出合約。每次 LLM call、code execution 同 method invocation 都可以留下 trace,開發者較容易重播同審計 agent 做過咩。

NOOA 亦容許開發者將關鍵檢查寫成普通 Python method。例如漏洞掃描 agent 搵到疑似問題後,可以用固定程式碼驗證 crash、核對係咪同報告描述一致,再重跑一次確認結果。呢種做法減少模型靠一句 prompt 自己判斷「我完成咗」嘅空間。不過 repo 寫得好清楚:NOOA 係 research software,會執行模型生成嘅 code,可能外洩資料、刪檔或者改壞環境,官方建議放入隔離 sandbox。 有 trace 同 typed method,只係方便管同查,唔會自動補齊最小權限、網上隔離、secret 管理同人工批核。

其他成員帶嚟嘅多數係現成積木

NVIDIA 公告提到 HPE 參與嘅 SPIFFE/SPIRE,可用加密身份確認 agent 同服務有冇權互相通訊;Hugging Face 就提供 Safetensors,避免載入模型權重時執行任意 code;Microsoft 嘅 MDASH 會安排多個模型分工掃描、辯論同驗證漏洞。呢啲項目各自都有用途,部分亦早過聯盟公開。聯盟而家較似將身份、模型格式、漏洞掃描、signed patch 同安全執行環境放入同一幅圖,互通規格、認證測試同共同發布節奏仍然未見。

Hugging Face 早前遇到入侵,亦解釋咗點解業界突然咁重視自託管模型。Hugging Face 自己披露,商用 API 嘅 guardrail 阻擋咗包含真實 exploit payload 嘅鑑證工作,團隊最後喺內部運行開放權重 GLM 5.2,分析超過 17,000 個事件,同時避免攻擊資料同 credential 離開公司環境。值得補一句:Hugging Face 話攻擊者用咩模型仍未知道,所以呢宗事件證明到開放模型對防守有用,證明唔到開放模型同攻擊來源有直接關係。

開放模型同樣可以畀攻擊者改裝

NVIDIA 將開放模型形容為防守資產,仲直接向政策制定者主張唔好一刀切限制,呢部分有明顯政策立場。英國 AI Security Institute 嘅研究就指出另一邊嘅風險:開放權重可以任意修改、冇人監察咁運行,發布後亦難以收回,原有 guardrail 仲可能低成本移除。防守團隊可以自行調校模型避過誤擋,攻擊者自然都有同一能力。

對用緊 coding agent 嘅開發團隊,現階段最實際嘅做法係:每個 agent 用獨立身份同短期 credential、權限收窄到指定 repo 同工具、執行環境同主要檔案系統分隔、高風險操作要人工批核,再保存完整工具呼叫同檔案變更紀錄。NOOA 值得做研究同試驗,Open Secure AI Alliance 就要等佢公開管治方式、共同規格同可驗證嘅交付,先睇得出呢批巨企係咪真係砌到一套開放防線。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook