OpenAI 加強兒童安全:ChatGPT 警告、暫停與圖像分類器
Tech News

OpenAI 加強兒童安全:ChatGPT 警告、暫停與圖像分類器

TechLab 編輯部·

OpenAI 宣布加強處理涉及兒童性化內容的措施。ChatGPT 對嘗試提出相關 prompt 的用戶,將顯示警告、引導至協助停止有害行為的專門支援資源,並暫停帳戶 24 小時;重複違規可被永久移除帳戶。公司表示,ChatGPT 原本已會封鎖 CSAM(兒童性剝削材料)及相關要求。

這項安排把處理方式由單純攔截內容,延伸至帳戶層面的阻嚇與介入。對一般用戶而言,短暫停用是一個明確的行為界線;對平台而言,累犯處理能否準確區分惡意行為、誤觸規則與申訴個案,將影響措施的公平性。報道未交代上線時間、申訴機制或各地適用範圍。

分類器定位在人手審核前端

OpenAI 同時推出圖像分類器,可偵測未曾見過的疑似 CSAM 圖像,包括由 AI 生成的圖像。公司會透過 API 向指定公司免費提供工具;分類器會為圖像給出分數,協助審核人員判斷優先處理方向。

這種設計的重點是減少人手審核負荷,而非取代人員作最終判斷。OpenAI 表示,與合作夥伴的早期測試中,分類器在找出相同數量違法圖像的情況下,標記圖像數量減少 48%;被標記圖像屬違法圖像的機會則提高至兩倍。

不過,這些是公司在早期合作測試所述的結果,並非不同平台與實際大規模部署下的成效保證。報道沒有提供樣本規模、測試資料組成、誤判率或漏判率,因此不能單以「48%」與「兩倍」推論工具在所有服務的準確度。

圖片:Image Credits:OpenAI

開發者與執法支援仍待看實際採用

OpenAI 表示,分類器由美國失蹤與受剝削兒童中心(NCMEC)協助開發,並正透過 Tech Coalition 與 ROOST 分享存取權。公司也發布開發者指引,涵蓋預防、偵測及協助用戶舉報 CSAM;早期測試顯示,部分開發者已採用兒童安全工具及登記向 NCMEC 舉報。

此外,OpenAI 計劃向處理兒童安全案件的執法人員提供 AI 功能,包括專用插件、調查工具與複雜資料分析,存取權由計劃管理員管理,並配合培訓及使用指引。

OpenAI 指出,阻嚇訊息與相關指引曾與 Protect Children、Lucy Faithfull Foundation 等機構及研究人員合作制定;塔斯馬尼亞大學的 Joel Scanlan 曾獨立評估阻嚇訊息試驗。惟報道未披露該評估的具體結果,現階段仍難判斷警告訊息對減少有害行為的實際效果。

接下來值得觀察的是,獲准使用分類器的公司如何把分數納入人手審核流程,以及平台會否公開更完整的誤判、漏判與申訴處理資料。這些資訊將決定措施能否同時提升兒童安全與維持合理的帳戶處理標準。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook