OpenAI 称 ChatGPT 可自动终止表现出暴力执念的对话,并承诺定期发布社区安全报告
- 1OpenAI 承诺定期发布《社区安全报告》,首期 2027 年初发布,此后每半年更新一次
- 2官方博文称 2026 年第三季度已向执法部门移交 200 余起迫在眉睫的暴力威胁案件线索
- 3ChatGPT 可自动终止执念于暴力或萌生伤害他人念头的对话,多次被中断的账户可能被临时冻结
- 4对既往大规模袭击细节与武器知识收紧限制,青少年涉枪涉武器信息设更高门槛,家长通知功能开发中
OpenAI 将暴力风险应对从个案处置转向机制化运营,以自动中断对话、临时冻结账户加定期安全报告组合,把平台安全责任前移。
- 影响:依赖 ChatGPT 开展客服、培训等业务的团队可能遇到对话被强制中断或账户临时冻结,需预留人工接管路径;面向青少年的产品面临更严的涉武器内容门槛;袭击事件等敏感话题的回答范围整体收窄。
- 参考:可考虑盘点内部使用 ChatGPT 时涉及袭击事件或武器知识的场景,预设中断后的人工兜底流程;运营共享账户的团队值得准备账户冻结后的备用方案,面向青少年的业务可跟进家长通知功能的上线节奏。
- 依据:全部内容转述 OpenAI 10 月 30 日官方博文,属官方口径,暂无独立验证;对话终止的触发标准和账户冻结细则原文未公布。
感谢IT之家网友 华南吴彦祖 的线索投递!
IT之家 10 月 31 日消息,OpenAI 于当地时间 10 月 30 日发布博文表示,维护社区安全始终是 OpenAI 的重中之重。其日常工作包括主动向执法机关通报迫在眉睫的暴力威胁。仅在 2026 年第三季度,OpenAI 就向执法部门移交了 200 余起案件线索。
OpenAI 承诺定期发布《社区安全报告》(Community Safety Report),系统公开在暴力预防、其他社区安全议题以及各项防护机制实际成效方面的进展。首期报告将于 2027 年初正式发布,涵盖 2026 年下半年的安全数据,此后每半年更新一次。
IT之家获悉,OpenAI 针对 ChatGPT 如何回答有关既往大规模恶性袭击事件及凶手的问题增设了额外限制:即便相关信息已在网络公开发布,系统也会严格受控,仅提供极度精简的信息。与此同时,公众仍然可以通过 ChatGPT 了解此类事件的全貌、受害者与社区受到的影响,并学习如何识别危险预警信号以防范未来暴力。
但 OpenAI 进一步收紧了安全策略,坚决限制对既往大规模袭击事件的细节复盘,包括所涉武器装备的参数、获取途径,以及可能助长凶手恶名的伤害规模对比。无论用户的年龄大小或提问动机如何,上述限制均无差别适用。
此外,当对话显示用户开始执念于暴力、或萌生严重伤害他人的念头时,ChatGPT 可自动终止当前对话,从而即时阻断这种心理与行为倾向。若同一账户因该原因导致对话被多次强制中断,OpenAI 可能会临时冻结该账户。
OpenAI 还宣布,对青少年可获取的涉枪涉武器信息增设了更严格的门槛,即便相关提问表面看似无害也会受到限制。即便用户未显露任何暴力意图,系统也将全面限制提供可能被滥用以滋生暴力的武器实用知识以及安防系统绕过信息。
OpenAI 目前正加紧开发新功能,以便在青少年账户因反复讨论暴力内容被临时冻结时,第一时间向家长推送通知。
来源:IT之家·人工智能 · ithome.com