訴訟指一張童年家庭相變成 7,000 張濫用影像，Grok 安全機制受質疑

一張普通家庭相，已經足夠造成長期傷害

一名喺訴訟文件中稱為 Jane Doe 4 嘅女子，加入三名田納西州少女針對 xAI 提出嘅擬議集體訴訟。據修訂訴狀所講，佢繼父將一張佢約 11 歲時、穿住睡衣瞓喺梳化嘅家庭相上載去 Grok，再製作逾 7,000 張露骨影像及影片。原告亦指部分內容曾喺網上交換。以上全部係原告方指控，法院未有裁定 xAI 或其他被告要負責。

訴狀又稱，執法人員搜查涉事男子嘅裝置後發現相關檔案；該男子獲保釋兩日後自殺身亡。呢段經歷對當事人造成嚴重創傷，但重點唔應放喺獵奇細節。值得正視嘅係，濫用源頭只係一張日常家庭相，當事人當年根本冇可能預計，多年後會有人用生成式 AI 大量改造成兒童性虐待影像。

安全機制似乎去到極端 prompt 先響鐘

原告方指，涉事帳戶製作大量影像期間，Grok 冇及早截停；直至用戶輸入一個涉及多人性暴力嘅 prompt，系統先向美國全國失蹤及受剝削兒童中心（NCMEC）發出 CyberTip。訴狀再指，xAI 當時提交嘅資料欠缺生成影像同 IP 地址，令執法人員難以及時鎖定用戶。TechCrunch 發稿時已向 xAI 查詢，報道冇附上公司回應。

xAI 而家嘅官方 FAQ 寫明，涉及兒童嘅性內容同未經同意私密影像一律禁止，安全保護亦唔會因開啟 NSFW 設定而關閉；重複嘗試可引致停權，部分內容會按法律要求報告。NCMEC 最新資料同時話，xAI 喺 2026 年初改善咗報告質素。兩點都要交代，但現行政策解釋唔到，點解按原告方講法，涉案時段可以累積逾 7,000 個檔案。

單次擋 prompt，捉唔到成個濫用模式

如果訴狀描述最終成立，平台缺口就唔止係某句 prompt 漏網。短時間反覆上載同一名兒童嘅照片、持續要求改動身體或露骨場景，再大量下載輸出，整體行為本身已有明顯風險訊號。平台要喺 prompt、輸入相片、生成結果同帳戶行為幾層一齊偵測，亦要限制可疑帳戶嘅生成量；等到最極端字眼出現先報告，傷害可能早已累積到無法收拾。

NCMEC 話，2025 年收到逾 40 萬宗同生成式 AI 有關嘅 CyberTipline 報告，當中逾 3 萬宗涉及用戶上載檔案再配合文字嘗試生成相關內容。機構亦指出，2024 至 2025 年確認嘅生成式 AI 兒童性虐待影像個案中，部分施害者本身就係兒童生活圈內、可以直接接觸佢哋嘅人。即係話，風險範圍已由公開社交相片伸到家庭群組、舊手機相簿同親友手上嘅私人照片。

私隱設定防到陌生人，未必防到身邊人

一般建議叫家長收緊社交平台權限，仍然有用，但呢宗指控提醒咗另一個盲點：照片冇公開，都可以俾有權接觸相簿嘅人攞去濫用。上載兒童相片前，最好避免連同全名、學校、住址、制服、固定活動地點等資料一齊出現；亦要先睇清楚 AI 工具會點保存、使用同刪除檔案。相片一旦俾人下載，之後刪帖亦收唔返所有副本。

香港私隱專員公署指出，《私隱條例》可適用於 AI 收集、處理同使用個人資料。實際刑責要睇影像內容、取得同發布方式等案情，唔可以直接照搬美國訴訟。不過對家庭用戶嚟講，最穩陣嘅做法好直接：任何交畀生成式 AI 嘅兒童相，都要當成可能離開自己控制範圍嘅資料。

參考來源

• TechCrunch — Woman claims her stepfather used Grok to transform childhood photo into explicit imagery — original report
• Deepfake Victims Bolster Class Action Against xAI, Add Stability AI — 原告代表律師行公告，交代修訂訴狀、Jane Doe 4 個案同舉報流程指控
• Grok Website / Apps FAQ — xAI 官方文件，核對現行內容限制、停權同向當局舉報政策
• NCMEC：Generative AI — 兒童保障機構資料，補充生成式 AI 濫用規模、常見模式同受影響個案背景
• NCMEC：CyberTipline Data — 核對 CyberTipline 運作、平台報告資料質素同 xAI 於 2026 年初改善報告嘅說法
• 私隱專員公署：AI 生成有害影像環球聯合聲明 — 香港官方資料，交代個人資料、未經同意私密影像同兒童保障原則

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。