#prompt injection
14 篇文章
TechLab 所有關於「prompt injection」嘅文章、評測同教學,由最新排起。
Tech News企業部署 AI agent 前,先補上三道安全缺口
HiddenLayer 獲 1 億美元融資,反映企業正為 AI agent 的實際運行風險付費。部署重點已由模型本身,延伸至 prompt injection、惡意工具調用及開源模型供應鏈驗證。
Tech NewsAI agent 越界未必係越獄:Codex、Claude Code 權限應該點設
AI agent 為咗完成任務,有時會揀中人類冇預計嘅捷徑。不過近期事故亦涉及開放網上存取、關閉安全過濾同測試設定出錯。與其估模型有冇惡意,開發團隊更實際嘅做法係限制工具、網上存取同憑證,再為高風險操作保留人工審批。
Tech NewsGoogle ADK repository 權限穿透:低權限 bot 點借身份改 PR
Pillar Security 喺 Google ADK for Python repository 發現多代理權限穿透風險。攻擊者可喺 PR 或 issue 埋 prompt injection,借低權限 agent 嘅 collaborator 身份觸發高權限自動化,繼而接觸 token、敏感資料同 PR 寫入功能。Google 已移除相關 workflow。
Tech News一個 GitHub issue 點樣污染 coding agent:三款工具風險拆解
公開 repository 入面一段普通 issue 文字,原來可以借 coding agent 嘅工具同權限,影響 CI runner、讀取 secrets,甚至污染下一次 agent 執行。Novee 研究嘅三個案例各有唔同前置條件,但都指向同一個部署盲點:外部輸入同共享檔案唔可以因為經 agent 處理過,就當成可信資料。
Tech NewsWord 文件暗藏 prompt:Copilot 點樣幫手複製,再傳去下一份文件
研究員 Håkon Måløy 發現,Word 文件內肉眼睇唔到嘅指令,可以影響 Copilot 改寫內容,再偷偷跟住輸出傳落下一份文件。呢個概念驗證未見用於大規模攻擊,但已經顯示 AI 有文件讀寫權限後,淨係封鎖巨集並唔夠。
Tech NewsAI 瀏覽器點解會俾一個網頁帶歪?七款產品權限差幾遠
AI 瀏覽器可以代你睇電郵、填表同網購,亦可能將惡意網頁文字當成指令。華盛頓大學研究顯示,風險高低同 agent 睇到幾多網站、做到咩操作直接相關;七款受測產品差異好大,完整概念驗證亦只喺 Atlas Agent Mode 成功。
Tech News一封電郵令 AI agent 記錯嘢:長期記憶點解會變成持續攻擊面
MemGhost 研究示範,連接電郵同長期記憶嘅 AI agent,可以俾一封惡意郵件偷偷植入假資料,之後再按錯誤記憶答問題甚至執行操作。87.5% 成功率有指定測試條件,但已經足以提醒開發者重新處理記憶權限同來源。
Tech NewsAWS 誘餌藏「情境炸彈」截停 AI 入侵,但中招之後仲要有人執手尾
Tracebit 喺 AWS 誘餌 secret 入面收埋會觸發模型安全限制嘅文字,等惡意 AI agent 搜掠資源時自己停低。測試數字幾搶眼,不過研究仍屬早期成果,亦由銷售 canary 服務嘅公司發表。實際防守仍要靠收緊權限、輪替憑證同快速應變。
Tech NewsAI 瀏覽器想幫你上網做嘢,BioShocking 示範點解公司帳戶唔好亂畀 agent 接管
Ars 報道 LayerX 嘅 BioShocking 研究:惡意網頁用遊戲規則帶偏 AI 瀏覽器,令 agent 喺登入狀態下拎 GitHub 憑證。麻煩位係瀏覽器權限、網頁內容同用戶帳戶撈埋一齊,guardrails 未必夠頂。
Tech NewsHalluSquatting 盯上 AI coding agent:亂估 repo 名都可以變供應鏈風險
iThome 報道 HalluSquatting 研究後,值得拉返去睇開發者日常用 AI agent 嘅習慣:叫工具 clone repo、裝 skill、拉 package 之前,名稱同來源都要自己核清楚;一開自動執行,錯一次就可能變供應鏈入口。
Tech NewsAI 瀏覽器權限太闊先危險:用 Comet、Dia、Edge Copilot 要點自保
TechNews 科技新報報道兩份 AI 瀏覽器資安研究,問題唔止係某幾款產品有 bug,而係 agent 一旦用住你嘅登入狀態做嘢,隱藏 prompt 就可能變成實際操作。用緊 Comet、Dia、Arc Max、Edge Copilot 呢類工具,最緊要收窄權限同分開 profile。
Tech NewsAI agent 搵錯 repo:HalluSquatting 點樣變供應鏈風險
HalluSquatting 利用 LLM 將熱門 repo 或 skill 位置估錯呢個習慣,預先霸住假資源名。對用緊 Cursor、Copilot、Gemini CLI 呢類 agent 嘅團隊,真正風險係工具連住 shell、repo 同雲端 token。
Tech NewsChatGPT Lockdown Mode 開放:防資料外傳,但會鎖起幾個好用工具
OpenAI 開始向 eligible personal accounts 同 self-serve ChatGPT Business 推 Lockdown Mode,用嚟限制 ChatGPT 連網、Agent、Deep Research 同 connector 寫入能力,減低 prompt injection 帶走敏感資料嘅機會,但功能會明顯縮水。
Tech NewsChatGPT Lockdown Mode 點防 prompt injection:開咗會犧牲咩功能
OpenAI 開始推出 Lockdown Mode,針對 prompt injection 引發嘅資料外洩風險,但代價係限制 web browsing、Deep Research、Agent Mode 同部分 connector 功能。香港用戶更要先留意官方支援地區。