#prompt injection
8 篇文章
TechLab 所有關於「prompt injection」嘅文章、評測同教學,由最新排起。
Tech News一封電郵令 AI agent 記錯嘢:長期記憶點解會變成持續攻擊面
MemGhost 研究示範,連接電郵同長期記憶嘅 AI agent,可以俾一封惡意郵件偷偷植入假資料,之後再按錯誤記憶答問題甚至執行操作。87.5% 成功率有指定測試條件,但已經足以提醒開發者重新處理記憶權限同來源。
Tech NewsAWS 誘餌藏「情境炸彈」截停 AI 入侵,但中招之後仲要有人執手尾
Tracebit 喺 AWS 誘餌 secret 入面收埋會觸發模型安全限制嘅文字,等惡意 AI agent 搜掠資源時自己停低。測試數字幾搶眼,不過研究仍屬早期成果,亦由銷售 canary 服務嘅公司發表。實際防守仍要靠收緊權限、輪替憑證同快速應變。
Tech NewsAI 瀏覽器想幫你上網做嘢,BioShocking 示範點解公司帳戶唔好亂畀 agent 接管
Ars 報道 LayerX 嘅 BioShocking 研究:惡意網頁用遊戲規則帶偏 AI 瀏覽器,令 agent 喺登入狀態下拎 GitHub 憑證。麻煩位係瀏覽器權限、網頁內容同用戶帳戶撈埋一齊,guardrails 未必夠頂。
Tech NewsHalluSquatting 盯上 AI coding agent:亂估 repo 名都可以變供應鏈風險
iThome 報道 HalluSquatting 研究後,值得拉返去睇開發者日常用 AI agent 嘅習慣:叫工具 clone repo、裝 skill、拉 package 之前,名稱同來源都要自己核清楚;一開自動執行,錯一次就可能變供應鏈入口。
Tech NewsAI 瀏覽器權限太闊先危險:用 Comet、Dia、Edge Copilot 要點自保
TechNews 科技新報報道兩份 AI 瀏覽器資安研究,問題唔止係某幾款產品有 bug,而係 agent 一旦用住你嘅登入狀態做嘢,隱藏 prompt 就可能變成實際操作。用緊 Comet、Dia、Arc Max、Edge Copilot 呢類工具,最緊要收窄權限同分開 profile。
Tech NewsAI agent 搵錯 repo:HalluSquatting 點樣變供應鏈風險
HalluSquatting 利用 LLM 將熱門 repo 或 skill 位置估錯呢個習慣,預先霸住假資源名。對用緊 Cursor、Copilot、Gemini CLI 呢類 agent 嘅團隊,真正風險係工具連住 shell、repo 同雲端 token。
Tech NewsChatGPT Lockdown Mode 開放:防資料外傳,但會鎖起幾個好用工具
OpenAI 開始向 eligible personal accounts 同 self-serve ChatGPT Business 推 Lockdown Mode,用嚟限制 ChatGPT 連網、Agent、Deep Research 同 connector 寫入能力,減低 prompt injection 帶走敏感資料嘅機會,但功能會明顯縮水。
Tech NewsChatGPT Lockdown Mode 點防 prompt injection:開咗會犧牲咩功能
OpenAI 開始推出 Lockdown Mode,針對 prompt injection 引發嘅資料外洩風險,但代價係限制 web browsing、Deep Research、Agent Mode 同部分 connector 功能。香港用戶更要先留意官方支援地區。