
Grok 涉容許未成年性化 deepfake,AI 平台安全唔可以淨靠 prompt filter
美國修訂訴訟指 xAI 通報失手,真人相一上載就可能俾濫用
訴訟指控講咗咩
Ars Technica 引述 7 月 7 日提交嘅 amended complaint 報道,呢宗針對 X 同 xAI 嘅集體訴訟加入 Jane Doe 4 同 Jane Doe 5,指有人用佢哋未成年時嘅家庭相同畢業相,經 Grok 生成 CSAM(未成年性剝削/性虐待內容)deepfake。最刺眼嘅位係 Jane Doe 4:訴訟指控,佢繼父用一張佢 11 歲時嘅相生成約 7,000 張露骨圖,之後疑似喺網上交換;嗰名男子俾警方拘捕兩日後自殺。呢啲都係訴訟講法,法院未判。
通報鏈路先係關鍵
呢單新聞唔止係 Grok 又出事,重點係平台點通報同保留證據。訴訟指控,xAI 最終有向美國 National Center for Missing & Exploited Children(NCMEC)送出 CyberTip,但只附上原相,冇附上生成出嚟嘅涉事檔案,亦冇交出 IP 等足夠定位資料;警方再追問時,xAI 幾星期冇回覆。NCMEC 2025 年資料亦提過,X.AI LLC 曾有超過九成 CyberTipline report 因 user info 太少,搞到執法機關暫時跟唔到,後來先有改善。
政策有字,系統要追到成條鏈
xAI 自己嘅 Acceptable Use Policy 寫明,唔准 nudify 真人、唔准將真人肖像改成性化內容、唔准性化或剝削兒童,仲話會向 NCMEC 報告疑似 CSAM。問題係,政策有字唔等於系統有做到。今次指控最有殺傷力嘅位,就係 guardrail 可能只喺 prompt 命中特定紅線時先出手;一旦用戶一路用真人相迭代生成,平台未必有足夠相片比對、輸出分類、速率限制同 evidence retention 去追到成條鏈。
Stability AI 點解都俾告埋
修訂訴訟仲告埋 Stability AI,原因係 Stable Diffusion 嘅 open-weight 生態。訴訟聲稱,早期模型用過嘅大型網上爬取資料集含有 CSAM 風險;Stanford Internet Observatory 2023 年報告亦喺 LAION-5B 入面搵到 3,226 個疑似 CSAM 條目,其中 1,008 個經外部確認。呢條線同 Grok 好唔同:Grok 係雲端服務同平台責任,Stable Diffusion 爭議係模型權重一放出去,下游 nudify app 可以改到仲難管。
香港用家要點防
呢件事唔使硬扯法規先有本地意義。Grok/X 香港用戶一樣接觸到 AI 圖像工具,公司社媒 admin、學校活動相、家長 WhatsApp 群相,都可能變成高風險素材。最實際做法係少放俾人一剪就用到嘅高清正面相;學校同機構相簿預設用低解像、水印、關閉公開下載;員工如果要用 AI app 處理真人相,至少要先有同意,唔准用未成年相,亦唔好將客戶、學生相上載去個人帳號。
出事時唔好亂傳檔案
如果已經懷疑有相俾人濫用,第一步唔係四圍轉發求證。保留連結、帳號、時間、平台回覆同對話紀錄,盡快報平台、學校或公司負責人,嚴重就報警。未滿 18 歲相關露骨影像可考慮 NCMEC Take It Down;佢會喺裝置上替檔案生成 hash,唔使上載原檔,但只支援有參與嘅公開或未加密平台。重點係快手止血,同時唔好令檔案擴散多一次。
下一步睇咩
接住要睇三樣:法院會唔會接納產品設計同通報質素可構成責任;xAI 會唔會公開講清上載相片、生成輸出、CyberTipline 報告保存嘅流程;同埋其他圖像模型會唔會收緊真人相編輯。AI 圖像工具賣點一直係快同易用,但真人相一旦變成輸入,安全設計就要跟得上;今次案件最值得記住嘅位,就係相片本身已經係高風險資料。
參考來源
- Ars Technica — Lawsuit: Man used Grok to make 7K sex images of stepdaughter, then shot himself — original report
- CyberScoop — Deepfake CSAM lawsuit against xAI, Grok expands — 補充 amended complaint、Jane Doe 4/5 同 Stability AI 加入案嘅細節;文中亦寫明 xAI、Stability AI 未回覆查詢。
- Lieff Cabraser — Deepfake Victims Bolster Class Action Against xAI, Add Stability AI — 原告律師團 7 月 7 日新聞稿,用嚟核對修訂訴訟聲稱、求償同禁制令方向。
- Doe v. xAI Complaint, March 16, 2026 — 3 月原始 court filing,用嚟核對最初三名 Jane Doe 嘅指控同 Grok 產品背景。
- Stanford Internet Observatory — Identifying and Eliminating CSAM in Generative ML Training Data and Models — 用嚟補 Stable Diffusion、LAION-5B 同訓練資料風險背景。
- xAI Acceptable Use Policy — xAI 官方使用政策,用嚟核對佢寫明禁止 nudify 真人、性化兒童同會向 NCMEC 報告。
- NCMEC — CyberTipline Report 2025 — NCMEC 官方 2025 data,用嚟補 CyberTipline、GAI-CSAM 報告量同 report 質素問題。
- NCMEC — Take It Down — NCMEC 官方受害者工具,用嚟寫實用防護同移除建議。
本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。







