OpenAI 推出儿童性虐待内容检测工具,误标记减少 48%
OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
OpenAI 做了个免费开放的 CSAM 图像检测分类器,误报比现有方案少 48%,NCMEC 参与了训练。ChatGPT 里搜相关内容还会被断 24 小时号。做内容审核或平台安全团队的值得看这套干预加检测的完整流程。
OpenAI 于 11 月 16 日宣布推出儿童性虐待内容(CSAM)检测工具,通过 API 向经过审核的机构免费开放。工具核心是一个全新图像分类器,用于识别虐待内容的视觉特征,并能对图像评分,帮助审核团队优先处理疑似最严重的案例。
该分类器在开发过程中获得美国国家失踪与受剥削儿童中心(NCMEC)支持,协助完成训练、评估和实际部署。相比现有保护措施,误标记图像数量减少 48%,被标记图像实际含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记案例中有一个最终导致封禁。
除了检测,该工具还带有干预功能:当用户在 ChatGPT 中试图寻找性虐待素材时,系统会中断操作、说明后果并引导求助,同时将账号暂时停用 24 小时,反复违规可能面临永封或被举报至有关部门。OpenAI 还与 Anthropic 和谷歌合作,委托 Tech Coalition 发布了一份应对 AI 系统中儿童性剥削披露的新指南。
OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。 美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。 同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。 此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号, 最终永封或被举报至有关部门 。 OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、ChatGPT、Anthropic、AI安全,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。