Grok 涉容許未成年性化 deepfake,AI 平台安全唔可以淨靠 prompt filter
Tech News

Grok 涉容許未成年性化 deepfake,AI 平台安全唔可以淨靠 prompt filter

圖片:via Ars Technica — https://arstechnica.com/tech-policy/2026/07/lawsuit-grok-user-made-7k-child-sex-images-xai-only-reported-one-gang-rape-prompt/
TechLab 編輯部(譯)·

美國修訂訴訟指 xAI 通報失手,真人相一上載就可能俾濫用

訴訟指控講咗咩

Ars Technica 引述 7 月 7 日提交嘅 amended complaint 報道,呢宗針對 X 同 xAI 嘅集體訴訟加入 Jane Doe 4 同 Jane Doe 5,指有人用佢哋未成年時嘅家庭相同畢業相,經 Grok 生成 CSAM(未成年性剝削/性虐待內容)deepfake。最刺眼嘅位係 Jane Doe 4:訴訟指控,佢繼父用一張佢 11 歲時嘅相生成約 7,000 張露骨圖,之後疑似喺網上交換;嗰名男子俾警方拘捕兩日後自殺。呢啲都係訴訟講法,法院未判。

通報鏈路先係關鍵

呢單新聞唔止係 Grok 又出事,重點係平台點通報同保留證據。訴訟指控,xAI 最終有向美國 National Center for Missing & Exploited Children(NCMEC)送出 CyberTip,但只附上原相,冇附上生成出嚟嘅涉事檔案,亦冇交出 IP 等足夠定位資料;警方再追問時,xAI 幾星期冇回覆。NCMEC 2025 年資料亦提過,X.AI LLC 曾有超過九成 CyberTipline report 因 user info 太少,搞到執法機關暫時跟唔到,後來先有改善。

政策有字,系統要追到成條鏈

xAI 自己嘅 Acceptable Use Policy 寫明,唔准 nudify 真人、唔准將真人肖像改成性化內容、唔准性化或剝削兒童,仲話會向 NCMEC 報告疑似 CSAM。問題係,政策有字唔等於系統有做到。今次指控最有殺傷力嘅位,就係 guardrail 可能只喺 prompt 命中特定紅線時先出手;一旦用戶一路用真人相迭代生成,平台未必有足夠相片比對、輸出分類、速率限制同 evidence retention 去追到成條鏈。

Stability AI 點解都俾告埋

修訂訴訟仲告埋 Stability AI,原因係 Stable Diffusion 嘅 open-weight 生態。訴訟聲稱,早期模型用過嘅大型網上爬取資料集含有 CSAM 風險;Stanford Internet Observatory 2023 年報告亦喺 LAION-5B 入面搵到 3,226 個疑似 CSAM 條目,其中 1,008 個經外部確認。呢條線同 Grok 好唔同:Grok 係雲端服務同平台責任,Stable Diffusion 爭議係模型權重一放出去,下游 nudify app 可以改到仲難管。

香港用家要點防

呢件事唔使硬扯法規先有本地意義。Grok/X 香港用戶一樣接觸到 AI 圖像工具,公司社媒 admin、學校活動相、家長 WhatsApp 群相,都可能變成高風險素材。最實際做法係少放俾人一剪就用到嘅高清正面相;學校同機構相簿預設用低解像、水印、關閉公開下載;員工如果要用 AI app 處理真人相,至少要先有同意,唔准用未成年相,亦唔好將客戶、學生相上載去個人帳號。

出事時唔好亂傳檔案

如果已經懷疑有相俾人濫用,第一步唔係四圍轉發求證。保留連結、帳號、時間、平台回覆同對話紀錄,盡快報平台、學校或公司負責人,嚴重就報警。未滿 18 歲相關露骨影像可考慮 NCMEC Take It Down;佢會喺裝置上替檔案生成 hash,唔使上載原檔,但只支援有參與嘅公開或未加密平台。重點係快手止血,同時唔好令檔案擴散多一次。

下一步睇咩

接住要睇三樣:法院會唔會接納產品設計同通報質素可構成責任;xAI 會唔會公開講清上載相片、生成輸出、CyberTipline 報告保存嘅流程;同埋其他圖像模型會唔會收緊真人相編輯。AI 圖像工具賣點一直係快同易用,但真人相一旦變成輸入,安全設計就要跟得上;今次案件最值得記住嘅位,就係相片本身已經係高風險資料。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook