TAG

#Prompt Injection

11 篇文章

TechLab 所有關於「Prompt Injection」嘅文章、評測同教學,由最新排起。

法庭文件藏 AI 指令:白字 prompt 點樣污染摘要、RAG 同 agent3C 產品

法庭文件藏 AI 指令:白字 prompt 點樣污染摘要、RAG 同 agent

美國一份法庭文件用三點白字藏起指令,企圖影響任何讀取文件嘅 AI。招數今次俾職員睇穿,但同一漏洞亦會出現喺合約摘要、企業 RAG、電郵附件同 coding agent,單靠模型識得拒絕並唔穩陣。

9 天前
RovoBlast 一撳連結可借 Rovo 搬走公司資料,Atlassian 已修正漏洞Tech News

RovoBlast 一撳連結可借 Rovo 搬走公司資料,Atlassian 已修正漏洞

RovoBlast 曾經令攻擊者用一條連結,把外來指令塞入已登入嘅 Rovo session,再借用戶權限搜尋 Jira、Confluence 同第三方服務。Atlassian 已喺 7 月完成 server 端修正,不過事件亦揭開企業 AI agent 接駁大量內部資料之後,權限同 connector 管理有幾重要。

12 天前
Kiro 已修補網頁藏指令執行程式碼漏洞,MCP 設定檔成高危入口Tech News

Kiro 已修補網頁藏指令執行程式碼漏洞,MCP 設定檔成高危入口

Kiro IDE 一個已修補漏洞,曾容許網頁暗藏嘅 prompt 指令改寫 MCP 設定,再以開發者權限執行程式碼。研究團隊確認 0.11.130 已擋住同一攻擊,事件亦提醒團隊:coding agent 嘅核准視窗只係其中一層防線,敏感設定、憑證同執行環境一樣要分隔。

1 個月前
一封電郵可污染 AI agent 長期記憶,GhostWriter 個 98% 要點樣睇Tech News

一封電郵可污染 AI agent 長期記憶,GhostWriter 個 98% 要點樣睇

AI agent 識得記住電郵、日程同工作習慣,用落的確方便,不過外來內容亦可能混入長期記憶。GhostWriter 研究錄得約 98% 注入率,但真正改變行為嘅平均觸發率約 60%,兩個數字唔可以撈埋講。

1 個月前
AI agent 嘅風險未必出喺最後答案:TraceSafe 追查工具呼叫途中問題Tech News

AI agent 嘅風險未必出喺最後答案:TraceSafe 追查工具呼叫途中問題

Agent 交出嘅答案睇落正常,背後可能一早讀錯檔案、洩漏 API key,甚至呼叫咗唔應該用嘅工具。TraceSafe-Bench 將焦點放喺多步工具呼叫軌跡,提醒開發團隊要喺執行期間檢查權限、參數同外部資料。

1 個月前
一個故事 prompt 繞過 AI 防線:26 款模型單輪越獄平均成功率 71.3%Tech News

一個故事 prompt 繞過 AI 防線:26 款模型單輪越獄平均成功率 71.3%

F5 用 40 篇藏有危險步驟嘅故事,測試 26 款前沿 AI 模型,單輪越獄平均成功率達 71.3%。呢個數字唔代表所有模型平時都有同等失守機會,卻提醒公司揀模型時,能力榜同安全回應同樣要睇。

1 個月前
AI 黑客識睇密碼,防守方喺雲端 secret 旁邊埋 prompt 陷阱Tech News

AI 黑客識睇密碼,防守方喺雲端 secret 旁邊埋 prompt 陷阱

AI agent 一讀 AWS decoy secret,入面嘅危險指令就觸發模型 guardrail,令攻擊流程停低。Tracebit 嘅受控測試成績幾搶眼,不過方法仍靠模型供應商嘅拒答機制,未有獨立重現,權限、隔離同監察照樣要做足。

1 個月前
AI 瀏覽器俾假遊戲帶路,密碼同 GitHub 憑證都可能出事3C 產品

AI 瀏覽器俾假遊戲帶路,密碼同 GitHub 憑證都可能出事

LayerX 研究指,六款 AI 瀏覽器同瀏覽器 agent 喺測試入面,都俾一個假遊戲規則帶走,讀咗測試 GitHub repo 入面嘅憑證再回傳。呢件事唔係大規模攻擊通報,但足夠提醒用 agent mode 開工作帳戶之前,權限要分清楚。

1 個月前
AI Agent 亂估 repo:HalluSquatting 點樣變成供應鏈風險3C 產品

AI Agent 亂估 repo:HalluSquatting 點樣變成供應鏈風險

HalluSquatting 利用 LLM 亂估 GitHub owner/repo 或 agent skill 嘅習慣,等 coding agent 拉錯資源再執行指令。防法好實際:鎖 repo、審批下載、sandbox,同埋用 least privilege 管住 token 同工具權限。

2 個月前
ChatGPT 檔案下載漏洞已修補:上傳公司文件前要諗清楚Tech News

ChatGPT 檔案下載漏洞已修補:上傳公司文件前要諗清楚

iThome 報道,研究者 zer0dac 揭露 ChatGPT 曾有檔案下載漏洞,OpenAI 已修補。呢單唔似傳統爆 server,但提醒大家:PDF、CSV、程式碼交畀 AI 前,要當成真權限同真資料咁管。

2 個月前
AI coding agent 可以被測試輸出帶偏?jqwik 事件畀香港開發團隊嘅警號Tech News

AI coding agent 可以被測試輸出帶偏?jqwik 事件畀香港開發團隊嘅警號

Java 測試套件 jqwik 1.10.0 被發現喺 stdout 加入針對 AI coding agent 嘅破壞性字句,事件將 prompt injection 由網頁內容推到 CI log、測試報告同開源依賴層面。

3 個月前