主要来源IT之家
查看原文事件专题 ·多源确认
OpenAI 推出儿童性虐待内容检测工具,误标记减少 48%
OpenAI 于 11 月 16 日宣布推出儿童性虐待内容(CSAM)检测工具,通过 API 向经过审核的机构免费开放。工具核心是一个全新图像分类器,用于识别虐待内容的视觉特征,并能对图像评分,帮助审核团队优先处理疑似最严重的案例。 该分类器在开发过程中获得美国国家失踪与受剥削儿童中心(NCMEC)支持,协助完成训练、评估和实际部署。相比现有保护措施,误标记图像数量减少 48%,被标记图像实际含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记案例中有一个最终导致封禁。 除了检测,该工具还带有干预功能:当用户在 ChatGPT 中试图寻找性虐待素材时,系统会中断操作、说明后果并引导求助,同时将账号暂时停用 24 小时,反复违规可能面临永封或被举报至有关部门。OpenAI 还与 Anthropic 和谷歌合作,委托 Tech Coalition 发布了一份应对 AI 系统中儿童性剥削披露的新指南。
当前结论
OpenAI 做了个免费开放的 CSAM 图像检测分类器,误报比现有方案少 48%,NCMEC 参与了训练。ChatGPT 里搜相关内容还会被断 24 小时号。做内容审核或平台安全团队的值得看这套干预加检测的完整流程。
11 个信源47° AI 热度最后更新 2026/11/17 01:49:31
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。