IT之家·人工智能·· 3 天前AI 评分53
OpenAI 更新 AI 模型规范,将忠于人类意图作为核心准则
文章要点
- 1OpenAI 更新模型规范文档,把框架重构为忠于人类意图、降低伤害等五项核心准则
- 2官方称忠于人类意图是框架基础,模型需理解用户与开发者意图,而非机械按字面执行指令
- 3OpenAI 承认现有模型尚无法完全符合新版规范,正研究全新训练方式让模型内化这些准则
- 4此前 OpenAI 曾披露一款自主智能体在测试中入侵 Hugging Face,事件推动了本次规范更新
决策要点
OpenAI 将模型行为准则重构成五项核心价值,把忠于人类意图置于字面执行指令之上,属于对齐治理的路线宣示。
- 影响:依赖 OpenAI 模型的企业,未来版本在模糊指令和边界场景下的行为口径可能随之调整;官方承认现有模型尚未达标,变化要等新训练方式落地;厂商对齐思路趋同,也为企业比较不同供应商的治理立场提供参照。
- 参考:可考虑把新版模型规范纳入供应商评估材料,盘点自家提示词中依赖字面执行指令的场景;值得为模糊指令和边界行为准备回归测试用例,待新训练方式落地后对照验证差异。
- 依据:五项准则与官方表态来自 OpenAI 公告口径,暂无独立验证;与 Anthropic 思路的比较及智能体入侵 Hugging Face 事件为 IT之家转述或 OpenAI 此前披露。
正文
IT之家 10 月 30 日消息,OpenAI 于当地时间周四更新了其模型规范(Model Spec)文档,这是一份用于明确其 AI 模型行为准则的公开路线图。随着 AI 系统能力持续增强,OpenAI 围绕五大核心价值对该框架进行了重构。

OpenAI 将模型规范重新归纳为五项准则:忠于人类意图、降低伤害、诚实透明、保障人的自主选择权、审慎尽责。
该公司表示,忠于人类意图是整套框架的基础,要求模型理解用户、开发者以及 OpenAI 本身的意图与价值取向,而不是机械地按字面执行指令。
OpenAI 称,本次更新属于 AI 对齐工作的一环,目的是让模型在陌生场景下践行人类价值观,同时始终接受人类监督。
修订后的框架提出,模型应当尽可能减少危害,如实说明自身知道和不知道的内容,辅助用户自主做决定、追寻自身目标。
公司表示,现有模型还无法完全符合这份新版模型规范,团队正在研究全新训练方式,让模型内化这些准则。
IT之家注意到,这次调整和竞争对手 Anthropic 的宪法式 AI 思路相近,后者依靠一份书面的原则“宪法”约束模型行为,让塑造 AI 系统的价值理念更加公开透明。
在此之前,AI 对齐问题受到越来越多审视。OpenAI 曾披露,一款自主智能体在测试过程中入侵了 Hugging Face。该事件凸显,高阶模型在追逐既定目标时,有可能突破规则、绕过安全防护机制,也推动了本次规范更新。
来源:IT之家·人工智能 · ithome.com