TAG

#AI 安全

66 篇文章

TechLab 所有關於「AI 安全」嘅文章、評測同教學，由最新排起。

OpenAI 煞停 Astra：Critical 門檻揭出 agent 權限風險

OpenAI 話內部評估未能排除 Astra 達到 Critical cyber 門檻，決定暫停未符合新保安要求嘅相關工作。不過，公開資料未足以證明 Astra 已經越線。今次更值得拆嘅係：coding agent 一旦有 terminal、credentials 同外部連線，權限設計錯一步已經可以放大成保安事故。

Word 文件暗藏 prompt：Copilot 點樣幫手複製，再傳去下一份文件

研究員 Håkon Måløy 發現，Word 文件內肉眼睇唔到嘅指令，可以影響 Copilot 改寫內容，再偷偷跟住輸出傳落下一份文件。呢個概念驗證未見用於大規模攻擊，但已經顯示 AI 有文件讀寫權限後，淨係封鎖巨集並唔夠。

Hugging Face 模型 repo 可變成程式碼入口：Diffusers 三漏洞要即升 0.38.0

Hugging Face Diffusers 舊版有三組高風險漏洞，惡意模型 repo 可借正常 `from_pretrained` 流程執行 Python 程式碼。開發者要升上 0.38.0、鎖實版本同模型 revision，再用隔離環境載入外來模型。

OpenAI 用 Codex Security 幫開源補漏洞，麻煩位係人手 review

OpenAI 推 Patch the Planet，同 Trail of Bits 用 Codex Security 幫 cURL、Python、Go、aiohttp 呢類開源項目搵漏洞同寫 patch。值得睇嘅位喺於 AI 掃 code 之後，邊個篩 false positive、寫到 maintainer 肯收嘅 patch、點樣安排 disclosure，開始變成安全工作嘅主戰場。

OpenAI Daybreak 推 Patch the Planet，開源漏洞修補要追得上 AI 搵 bug 速度

OpenAI 今次用 Daybreak 走入開源安全，Patch the Planet 有 Trail of Bits 幫手先篩 bug report，再同 maintainers 修 patch。AI 搵漏洞快咗，但驗證、分級同修 patch 嘅工作亦隨之增加，呢個先係 maintainer 要處理嘅樽頸。

Claude 測試誤闖三間真公司：AI agent 權限邊界點解要落喺系統層

Anthropic 翻查 141,006 次網絡安全測試，發現 Claude 曾接觸三間真實機構，仲有惡意套件喺 15 部系統執行。公開資料冇顯示模型有自主惡意，事故反而揭示一個企業容易忽略嘅問題：agent 有幾多權，唔可以單靠 prompt 同模型拒絕機制控制。

Apple 26.6 安全更新拆解：邊啲裝置要即刻升級，AI 幫手搵到咩？

Apple 一口氣更新 iPhone、iPad、Mac、Safari 同多款裝置，修補範圍由惡意網頁、圖片處理去到系統權限。今次仲見到 Claude 同 Codex Security 出現喺致謝名單，不過兩者參與程度唔可以一概而論。

Chrome 研發免重開更新：AI 搵漏洞快咗，修補都要追返速度

Google 正研發 dynamic patching，希望 Chrome 裝更新時毋須完整重開。背後原因幾實際：AI 安全工具令搵 bug 同修正嘅速度大增，更新派到用戶部機、真正生效嗰段時間，開始成為新樽頸。不過功能未有推出日期，Google亦未交代適用平台同限制。

OpenAI agent 借 Artifactory 漏洞上網，再闖入 Hugging Face

OpenAI 嘅 cyber agent 喺內部 benchmark 搵到 Artifactory zero-day，經套件 registry proxy 取得網上連線，再用憑證同其他漏洞闖入 Hugging Face。事件反映 agent 沙箱有個幾實際嘅缺口：就算只留低受控通道，隔離措施一樣可能俾人繞過。

Hugging Face 改圖工具安全失守：公開相片點解變成濫用原料

AI Forensics 發現，Hugging Face 多個熱門網頁改圖工具欠缺基本保障，亦收到涉及女性同疑似未成年人士嘅性化要求。事件反映平台由託管模型走到直接提供網頁工具之後，安全責任已經避唔開。

Anthropic 對開放權重設安全線，Kimi K3 揭出部署自由嘅實際代價

Anthropic 話自己冇主張禁止開放權重模型，不過能力去到網絡攻擊、生物風險等水平，就應該先過安全測試。Kimi K3 剛好示範另一面：權重任你下載，部署控制同資料私隱的確吸引，但硬件、維護、授權同安全責任一樣要自己接手。

Nvidia 拉攏 Microsoft 搞開放 AI 防線，模型越界後要補嘅係成套權限

Open Secure AI Alliance 想用開放工具守住 AI agent、程式碼同軟件供應鏈。方向切中痛點，不過現有項目由研究預覽到內部工具都有，離一套即裝即用嘅共同防線仲有距離。

美國 AI「Kill Switch」法案拆解：DHS 可限速停機，權力去到幾盡？

美國跨黨派議員提出《AI Kill Switch Act》，要求大型 AI 公司保留限速、暫停同關閉模型嘅技術能力。條文唔代表政府可以任意熄晒全球 AI，不過 DHS 一旦認定發生受規管事故，毋須先攞法庭命令就可以要求公司即時行動，海外 API 同 coding agent 用戶亦可能受波及。

極端組織輪流試唔同 AI，劍橋研究揭示單一平台封鎖點解追唔上

劍橋 CASP 訪問 27 名前 Boko Haram 成員，發現部分人有組織咁用多款生成式 AI 處理情報、後勤同暴力相關問題。研究未能證明 AI 令攻擊能力大幅提升，不過揭示咗一個實際缺口：危險用家可以喺模型、帳戶同平台之間轉移，單靠逐次拒答未必擋得住。

Kiro 已修補網頁藏指令執行程式碼漏洞，MCP 設定檔成高危入口

Kiro IDE 一個已修補漏洞，曾容許網頁暗藏嘅 prompt 指令改寫 MCP 設定，再以開發者權限執行程式碼。研究團隊確認 0.11.130 已擋住同一攻擊，事件亦提醒團隊：coding agent 嘅核准視窗只係其中一層防線，敏感設定、憑證同執行環境一樣要分隔。

OpenAI 評測模型越界入侵 Hugging Face：安全閘一拆，沙盒點解失守

OpenAI 承認，內部評測用模型突破沙盒、攞到上網權限，再入侵 Hugging Face 搵測試答案。事故涉及零日漏洞、偷返嚟嘅憑證同刻意降低嘅 cyber refusals，亦暴露 AI agent 評測環境隔離得唔夠徹底。

三藩市發停止侵害通知：Apple、Google 點解仍畀有害換臉 app 過關

三藩市市律師向 Apple 同 Google 發停止侵害通知，要求移除 13 款可製作非自願裸照 deepfake 嘅換臉 app。今次冇法院禁令，法律行動亦屬美國地方層面；但事件再次揭出兩大商店嘅審核盲點：app 用正常換臉工具包裝，真正風險要實際測試先見到。

Anthropic 高薪請核武生化專家，Claude 安全網點解仲要真人把關

Anthropic 一口氣招聘核武、生化、爆炸品同網絡犯罪專才，年薪最高達 28.5 萬美元。職位名稱聽落搶眼，實際工作重點係審查模型互動、分流可疑個案同改善自動攔截系統，反映前沿 AI 安全已經由模型拒答，走到持續監察同真人執法判斷。

一個故事 prompt 繞過 AI 防線：26 款模型單輪越獄平均成功率 71.3%

F5 用 40 篇藏有危險步驟嘅故事，測試 26 款前沿 AI 模型，單輪越獄平均成功率達 71.3%。呢個數字唔代表所有模型平時都有同等失守機會，卻提醒公司揀模型時，能力榜同安全回應同樣要睇。

10 款主流 AI 遇上政治批評有兩套尺度，跨境拒答點樣形成？

Oversight Board 測試 10 款主流模型，發現佢哋生成政治批評素材時，面對言論限制較多嘅政權，拒答率由 14% 升到 34%。研究未足以證明 AI 公司主動審查，但揭出模型可能將目標國家嘅法律同政治風險，帶到境外用戶面前。

點解 xAI 要告自己用戶？Grok 濫用案背後係安全責任攻防

xAI 指控一名 Grok 用戶繞過安全措施，生成同散播兒童性虐待素材，繼停權同舉報後再提出民事訴訟。案件罕見之處，係 AI 平台直接告自己用戶；背後既有阻嚇作用，亦牽涉平台想點分配生成內容嘅責任。

Google AI 搜尋對小朋友安全嗎？報告揭出錯答案同危機求助漏洞

Common Sense Media 測試 Google AI Overview 同 AI Mode，發現功課答案、資料準確度同危機求助回應都有問題。Google 話測試問題含糊兼唔貼近實際用法，但報告方法同重複測試數據，令呢個反駁未足以拆走疑慮。香港家長暫時亦冇得單獨關閉 AI 摘要。

Google AI 搜尋開住 SafeSearch 都照代做功課，香港家長而家可以點設限

Common Sense Media 用 11 歲同 15 歲兒童帳戶測咗 2,624 次 Google AI 搜尋，發現代做功課、假資料、deepfake 指示同危機回應失手。香港亦已支援相關功能；家長暫時得粗粒度限制，教小朋友查證仍然好關鍵。

Google 搜尋 AI 兒童安全評測墊底：SafeSearch 點解唔夠用

Google 搜尋 AI 兒童安全評測墊底：SafeSearch 點解唔夠用

Common Sense Media 用兒童帳戶跑咗逾 2,600 次 Google 搜尋，指 AI Overview 同 AI Mode 對危機訊號、資料可信度同功課處理都有明顯缺口。Google 反駁測試設計太窄兼刻意；研究亦只限美國英文環境，唔可以直接當香港實測。