OpenAI 加強兒少安全防護:分類器與 ChatGPT 停權機制同步上線
Tech News

OpenAI 加強兒少安全防護:分類器與 ChatGPT 停權機制同步上線

圖片:OpenAI
TechLab 編輯部·

OpenAI 宣布加強防止 AI 被用於兒少性剝削:一方面推出影像分類器,協助機構辨識疑似兒童性虐待素材(CSAM)及可能由 AI 生成的影像;另一方面,ChatGPT 對嘗試搜尋或生成兒少性化內容的帳戶,將顯示警示、移除相關對話,並暫停使用 24 小時。

TechNews 科技新報報道指出,分類器將透過 API 免費提供予經審核的組織。它的定位不是取代審查人員,而是為大量影像加上風險訊號,讓團隊優先處理較可疑個案。對資源有限的兒少安全組織而言,這類分流能力可減少人工先查看的內容量,也可能縮短高風險案件的處理時間。

效能數字不能脫離人工覆核

OpenAI 表示,與合作夥伴進行的初步測試顯示,系統可把需要人工複查的影像數量減少約 48%,同時提高被標記影像確實涉及虐待內容的可能性。這是公司及合作測試所得的初步結果,並非獨立驗證的通用準確率;不同資料來源、內容型態與部署流程,都可能影響實際表現。

尤其「可能由 AI 生成」僅是額外訊號,不能單獨等同內容來源或法律判定。分類器若出現誤判,可能令無關內容被送交覆核;若有漏判,則可能讓有害內容避過優先處置。因此,工具的價值取決於人工判讀、案件升級、保存證據及通報安排能否銜接,而非只看單一模型數字。

圖片:OpenAI

ChatGPT 的帳戶處置延伸至重複違規

在 ChatGPT 端,新警示會說明相關行為的傷害,並引導使用者尋求專業協助。首次觸發後,系統會移除對話並作出 24 小時停權;若違規重複發生,OpenAI 表示限制可加重至關閉帳戶,或通報主管機關。

這使安全防護從單純拒絕生成內容,延伸到帳戶層級的處置。不過,警示與短暫停權是否能有效阻止規避行為,仍要視乎平台如何辨識重複濫用、處理申訴,以及在有需要時與相關機構協作。

對使用 OpenAI API 的開發者,責任也不止於接入分類器。TechNews 科技新報指出,OpenAI 同步發布偵測、回報與處理流程指引,並向執法單位提供調查、資料分析和訓練支援。開發團隊若把工具整合到產品中,仍須建立明確的人工覆核、升級及通報機制,才能把模型輸出的風險訊號轉化為可負責任的保護措施。

接下來值得觀察的是,OpenAI 能否公開更多跨組織、跨情境的評估資料,以及獲審核機構實際導入後,分類器對審核負荷與漏判風險的影響。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook