#Prompt Injection
11 篇文章
TechLab 所有關於「Prompt Injection」嘅文章、評測同教學,由最新排起。
3C 產品法庭文件藏 AI 指令:白字 prompt 點樣污染摘要、RAG 同 agent
美國一份法庭文件用三點白字藏起指令,企圖影響任何讀取文件嘅 AI。招數今次俾職員睇穿,但同一漏洞亦會出現喺合約摘要、企業 RAG、電郵附件同 coding agent,單靠模型識得拒絕並唔穩陣。
Tech NewsRovoBlast 一撳連結可借 Rovo 搬走公司資料,Atlassian 已修正漏洞
RovoBlast 曾經令攻擊者用一條連結,把外來指令塞入已登入嘅 Rovo session,再借用戶權限搜尋 Jira、Confluence 同第三方服務。Atlassian 已喺 7 月完成 server 端修正,不過事件亦揭開企業 AI agent 接駁大量內部資料之後,權限同 connector 管理有幾重要。
Tech NewsKiro 已修補網頁藏指令執行程式碼漏洞,MCP 設定檔成高危入口
Kiro IDE 一個已修補漏洞,曾容許網頁暗藏嘅 prompt 指令改寫 MCP 設定,再以開發者權限執行程式碼。研究團隊確認 0.11.130 已擋住同一攻擊,事件亦提醒團隊:coding agent 嘅核准視窗只係其中一層防線,敏感設定、憑證同執行環境一樣要分隔。
Tech News一封電郵可污染 AI agent 長期記憶,GhostWriter 個 98% 要點樣睇
AI agent 識得記住電郵、日程同工作習慣,用落的確方便,不過外來內容亦可能混入長期記憶。GhostWriter 研究錄得約 98% 注入率,但真正改變行為嘅平均觸發率約 60%,兩個數字唔可以撈埋講。
Tech NewsAI agent 嘅風險未必出喺最後答案:TraceSafe 追查工具呼叫途中問題
Agent 交出嘅答案睇落正常,背後可能一早讀錯檔案、洩漏 API key,甚至呼叫咗唔應該用嘅工具。TraceSafe-Bench 將焦點放喺多步工具呼叫軌跡,提醒開發團隊要喺執行期間檢查權限、參數同外部資料。
Tech News一個故事 prompt 繞過 AI 防線:26 款模型單輪越獄平均成功率 71.3%
F5 用 40 篇藏有危險步驟嘅故事,測試 26 款前沿 AI 模型,單輪越獄平均成功率達 71.3%。呢個數字唔代表所有模型平時都有同等失守機會,卻提醒公司揀模型時,能力榜同安全回應同樣要睇。
Tech NewsAI 黑客識睇密碼,防守方喺雲端 secret 旁邊埋 prompt 陷阱
AI agent 一讀 AWS decoy secret,入面嘅危險指令就觸發模型 guardrail,令攻擊流程停低。Tracebit 嘅受控測試成績幾搶眼,不過方法仍靠模型供應商嘅拒答機制,未有獨立重現,權限、隔離同監察照樣要做足。
3C 產品AI 瀏覽器俾假遊戲帶路,密碼同 GitHub 憑證都可能出事
LayerX 研究指,六款 AI 瀏覽器同瀏覽器 agent 喺測試入面,都俾一個假遊戲規則帶走,讀咗測試 GitHub repo 入面嘅憑證再回傳。呢件事唔係大規模攻擊通報,但足夠提醒用 agent mode 開工作帳戶之前,權限要分清楚。
3C 產品AI Agent 亂估 repo:HalluSquatting 點樣變成供應鏈風險
HalluSquatting 利用 LLM 亂估 GitHub owner/repo 或 agent skill 嘅習慣,等 coding agent 拉錯資源再執行指令。防法好實際:鎖 repo、審批下載、sandbox,同埋用 least privilege 管住 token 同工具權限。
Tech NewsChatGPT 檔案下載漏洞已修補:上傳公司文件前要諗清楚
iThome 報道,研究者 zer0dac 揭露 ChatGPT 曾有檔案下載漏洞,OpenAI 已修補。呢單唔似傳統爆 server,但提醒大家:PDF、CSV、程式碼交畀 AI 前,要當成真權限同真資料咁管。
Tech NewsAI coding agent 可以被測試輸出帶偏?jqwik 事件畀香港開發團隊嘅警號
Java 測試套件 jqwik 1.10.0 被發現喺 stdout 加入針對 AI coding agent 嘅破壞性字句,事件將 prompt injection 由網頁內容推到 CI log、測試報告同開源依賴層面。