IT之家·人工智能·· 3 小时前AI 评分35
OpenAI 部署控制室系统，可在 35 秒内叫停失控 AI 智能体
35 秒内“叫停”失控的 AI 智能体，OpenAI 部署“控制室”系统
文章要点
- 1OpenAI 宣布已在内部研究设施部署控制室系统，可叫停失控智能体任务，最长延迟 35 秒
- 2研究员启用任务需向控制室申请唯一任务 ID，推理引擎每次输出前确认任务能否运行
- 3与传统只标记可疑行为的监控不同，系统接到停止指令后会拒绝下一次推理请求
- 435 秒延迟源于推理授权缓存层，OpenAI 正努力缩短至 0；前沿强化学习任务配有独立监控器
决策要点
OpenAI 把风险控制从标记可疑行为前移到推理链路内的授权关卡，智能体任务能否继续改由中央服务裁决。
- 影响：前沿实验室已把智能体失控当作需要架构级处理的运营风险；企业自建智能体流程同样面临失控后的止损问题；在请求链路加授权关卡会引入延迟与可用性上的额外权衡。
- 参考：可考虑为智能体试点设计任务 ID 与停止指令的演练流程；值得盘点现有智能体应用是否有统一中止入口；先测算在推理链路加鉴权层对延迟的影响。
- 依据：整套系统机制与 35 秒延迟数据均出自 OpenAI 官方口径，由 IT之家转述，暂无独立验证。
正文
IT之家 11 月 10 日消息，OpenAI 今天宣布，公司已在内部研究设施中部署“控制室”系统，用于停止可能存在风险的 AI 任务，可在 35 秒内“叫停”失控的 AI 智能体。
据介绍，这套系统将智能体训练、评估和数据处理任务等负载接入中央服务，然后由系统负责决定任务能否继续输出。
IT之家了解到，这套系统与负责标记可疑行为的传统监控不同，它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时，需要向控制室请求唯一任务 ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室，确认相关任务是否可以运行。
如果研究员或监控系统下令停止指示，控制室服务就会拒绝下一次推理请求，让推理引擎不再为任务声称任何模型输出。
OpenAI 表示，这套系统从收到停止指令，到阻止任务进一步继续的最长延迟为 35 秒。这种延迟源于推理授权请求的缓存层，公司正努力将延迟缩短至 0。
该系统还具备自动化监控机制集成。OpenAI 透露，所有前沿强化学习任务都会配备独立的模型监控器，用于检查模型行为，并在发现潜在问题时发出警报。
来源：IT之家·人工智能 · ithome.com