跳到正文
原文
IT之家·人工智能·· 7 小时前AI 评分44

OpenAI 推出儿童性虐待内容检测工具,经审核机构可免费接入

OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

文章要点
  • 1OpenAI 推出儿童性虐待内容检测工具,将通过 API 向经过审核的机构免费开放
  • 2官方称新图像分类器较现有措施减少 48% 误标记,标记图像含虐待内容可能性约为两倍
  • 3ChatGPT 将新增警告,寻找性虐待素材的用户会被中断操作并暂停账号 24 小时
  • 4OpenAI 联合 Anthropic、谷歌制定应对指南,NCMEC 协助了工具开发与部署
决策要点

内容安全从平台自建审核走向标准化工具输出,头部厂商正把儿童安全防护做成可对外分发的产品。

  • 影响:运营 UGC 或对话类产品的企业多了一个免费的审核工具选项,有助于压低误标记产生的人力成本;消费端产品需要在用户协议和封禁流程中预留干预与申诉环节;多家厂商共同制定指南,儿童安全处置标准正在走向统一。
  • 参考:可考虑先确认自家平台是否符合经审核机构的接入条件,再测算误标记减少 48% 对审核人力预算的影响;值得对照 Tech Coalition 新指南盘点现有的儿童安全处置流程。
  • 依据:误标记减少 48%、标记图像含虐待内容可能性约为两倍均为 OpenAI 官方口径,暂无独立验证;NCMEC 参与训练评估部署出自官方介绍。
正文

IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。

据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。

美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。

同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。

此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号,最终永封或被举报至有关部门。

OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。

来源:IT之家·人工智能 · ithome.com