TAG

#prompt injection

14 篇文章

TechLab 所有關於「prompt injection」嘅文章、評測同教學,由最新排起。

企業部署 AI agent 前,先補上三道安全缺口Tech News

企業部署 AI agent 前,先補上三道安全缺口

HiddenLayer 獲 1 億美元融資,反映企業正為 AI agent 的實際運行風險付費。部署重點已由模型本身,延伸至 prompt injection、惡意工具調用及開源模型供應鏈驗證。

9 天前
AI agent 越界未必係越獄:Codex、Claude Code 權限應該點設Tech News

AI agent 越界未必係越獄:Codex、Claude Code 權限應該點設

AI agent 為咗完成任務,有時會揀中人類冇預計嘅捷徑。不過近期事故亦涉及開放網上存取、關閉安全過濾同測試設定出錯。與其估模型有冇惡意,開發團隊更實際嘅做法係限制工具、網上存取同憑證,再為高風險操作保留人工審批。

22 天前
Google ADK repository 權限穿透:低權限 bot 點借身份改 PRTech News

Google ADK repository 權限穿透:低權限 bot 點借身份改 PR

Pillar Security 喺 Google ADK for Python repository 發現多代理權限穿透風險。攻擊者可喺 PR 或 issue 埋 prompt injection,借低權限 agent 嘅 collaborator 身份觸發高權限自動化,繼而接觸 token、敏感資料同 PR 寫入功能。Google 已移除相關 workflow。

1 個月前
一個 GitHub issue 點樣污染 coding agent:三款工具風險拆解Tech News

一個 GitHub issue 點樣污染 coding agent:三款工具風險拆解

公開 repository 入面一段普通 issue 文字,原來可以借 coding agent 嘅工具同權限,影響 CI runner、讀取 secrets,甚至污染下一次 agent 執行。Novee 研究嘅三個案例各有唔同前置條件,但都指向同一個部署盲點:外部輸入同共享檔案唔可以因為經 agent 處理過,就當成可信資料。

1 個月前
Word 文件暗藏 prompt:Copilot 點樣幫手複製,再傳去下一份文件Tech News

Word 文件暗藏 prompt:Copilot 點樣幫手複製,再傳去下一份文件

研究員 Håkon Måløy 發現,Word 文件內肉眼睇唔到嘅指令,可以影響 Copilot 改寫內容,再偷偷跟住輸出傳落下一份文件。呢個概念驗證未見用於大規模攻擊,但已經顯示 AI 有文件讀寫權限後,淨係封鎖巨集並唔夠。

1 個月前
AI 瀏覽器點解會俾一個網頁帶歪?七款產品權限差幾遠Tech News

AI 瀏覽器點解會俾一個網頁帶歪?七款產品權限差幾遠

AI 瀏覽器可以代你睇電郵、填表同網購,亦可能將惡意網頁文字當成指令。華盛頓大學研究顯示,風險高低同 agent 睇到幾多網站、做到咩操作直接相關;七款受測產品差異好大,完整概念驗證亦只喺 Atlas Agent Mode 成功。

1 個月前
一封電郵令 AI agent 記錯嘢:長期記憶點解會變成持續攻擊面Tech News

一封電郵令 AI agent 記錯嘢:長期記憶點解會變成持續攻擊面

MemGhost 研究示範,連接電郵同長期記憶嘅 AI agent,可以俾一封惡意郵件偷偷植入假資料,之後再按錯誤記憶答問題甚至執行操作。87.5% 成功率有指定測試條件,但已經足以提醒開發者重新處理記憶權限同來源。

2 個月前
AWS 誘餌藏「情境炸彈」截停 AI 入侵,但中招之後仲要有人執手尾Tech News

AWS 誘餌藏「情境炸彈」截停 AI 入侵,但中招之後仲要有人執手尾

Tracebit 喺 AWS 誘餌 secret 入面收埋會觸發模型安全限制嘅文字,等惡意 AI agent 搜掠資源時自己停低。測試數字幾搶眼,不過研究仍屬早期成果,亦由銷售 canary 服務嘅公司發表。實際防守仍要靠收緊權限、輪替憑證同快速應變。

2 個月前
AI 瀏覽器想幫你上網做嘢,BioShocking 示範點解公司帳戶唔好亂畀 agent 接管Tech News

AI 瀏覽器想幫你上網做嘢,BioShocking 示範點解公司帳戶唔好亂畀 agent 接管

Ars 報道 LayerX 嘅 BioShocking 研究:惡意網頁用遊戲規則帶偏 AI 瀏覽器,令 agent 喺登入狀態下拎 GitHub 憑證。麻煩位係瀏覽器權限、網頁內容同用戶帳戶撈埋一齊,guardrails 未必夠頂。

2 個月前
HalluSquatting 盯上 AI coding agent:亂估 repo 名都可以變供應鏈風險Tech News

HalluSquatting 盯上 AI coding agent:亂估 repo 名都可以變供應鏈風險

iThome 報道 HalluSquatting 研究後,值得拉返去睇開發者日常用 AI agent 嘅習慣:叫工具 clone repo、裝 skill、拉 package 之前,名稱同來源都要自己核清楚;一開自動執行,錯一次就可能變供應鏈入口。

2 個月前
AI 瀏覽器權限太闊先危險:用 Comet、Dia、Edge Copilot 要點自保Tech News

AI 瀏覽器權限太闊先危險:用 Comet、Dia、Edge Copilot 要點自保

TechNews 科技新報報道兩份 AI 瀏覽器資安研究,問題唔止係某幾款產品有 bug,而係 agent 一旦用住你嘅登入狀態做嘢,隱藏 prompt 就可能變成實際操作。用緊 Comet、Dia、Arc Max、Edge Copilot 呢類工具,最緊要收窄權限同分開 profile。

2 個月前
AI agent 搵錯 repo:HalluSquatting 點樣變供應鏈風險Tech News

AI agent 搵錯 repo:HalluSquatting 點樣變供應鏈風險

HalluSquatting 利用 LLM 將熱門 repo 或 skill 位置估錯呢個習慣,預先霸住假資源名。對用緊 Cursor、Copilot、Gemini CLI 呢類 agent 嘅團隊,真正風險係工具連住 shell、repo 同雲端 token。

2 個月前
ChatGPT Lockdown Mode 開放:防資料外傳,但會鎖起幾個好用工具Tech News

ChatGPT Lockdown Mode 開放:防資料外傳,但會鎖起幾個好用工具

OpenAI 開始向 eligible personal accounts 同 self-serve ChatGPT Business 推 Lockdown Mode,用嚟限制 ChatGPT 連網、Agent、Deep Research 同 connector 寫入能力,減低 prompt injection 帶走敏感資料嘅機會,但功能會明顯縮水。

3 個月前
ChatGPT Lockdown Mode 點防 prompt injection:開咗會犧牲咩功能Tech News

ChatGPT Lockdown Mode 點防 prompt injection:開咗會犧牲咩功能

OpenAI 開始推出 Lockdown Mode,針對 prompt injection 引發嘅資料外洩風險,但代價係限制 web browsing、Deep Research、Agent Mode 同部分 connector 功能。香港用戶更要先留意官方支援地區。

3 個月前