微软 CEO 纳德拉改变看法,不再认为 AI 越强大就越安全
微软 CEO 纳德拉:以前我认为 AI 越强大也会越安全,现在不信了
- 1纳德拉在《20VC》播客称,不再认为 AI 能力越强对齐越容易解决,对齐是更棘手、性质不同的问题
- 2他 10 月 10 日在 X 发文,主张企业将 AI 模型视为内部安全威胁,防护时应假定模型已遭入侵
- 3他主张用确定性系统设计、人工管控和操作规程为 AI 建防护,现有标准不足的领域需制定行业标准
- 4OpenAI 与 Anthropic 的 CEO 也曾就 AI 威胁发出警告,7 月超 1000 名从业者联署信表达类似担忧
纳德拉的转向说明模型能力提升不会自动带来安全可控,AI 安全被视为需要单独投入的工程和治理问题,而非能力提升的副产品。
- 影响:企业部署 AI 不能默认能力越强风险越低,防护设计要按模型可能被入侵来假设;行业标准补齐前,人工管控和操作规程要靠企业自己补;对供应商安全能力的评估会成为采购的新维度。
- 参考:可考虑按假定模型已遭入侵的思路审查在用 AI 系统的防护措施;值得梳理依赖模型自主决策的高风险流程并补上人工管控环节,同时跟踪相关行业标准的制定进展。
- 依据:观点出自纳德拉《20VC》播客访谈及 10 月 10 日的 X 帖子,经《商业内幕》与 IT之家转述,属高管个人判断,无配套技术数据。
IT之家 10 月 27 日消息,据《商业内幕》今天(27 日)早间报道,微软 CEO 萨提亚 · 纳德拉改变了对 AI“对齐”问题的看法。他过去认为,AI 系统越强大,就越容易让其行为符合人类的价值观和目标,但现在,自己不再相信两者会自然而然地同步发展。
在新一期《20VC》播客中,主持人哈里 · 斯特宾斯问纳德拉,过去一年里有什么想法发生了改变。纳德拉解释,他原本认为,随着 AI 能力不断提高,确保 AI 行为符合人类价值观和目标的“对齐”问题也会迎刃而解。
模型规模扩大带来的效果符合纳德拉的预期,AI 能力持续提升,但对齐问题依然没有得到解决。“我过去总以为,对齐问题自然就会解决。我不再这么认为了。我觉得,对齐可能是一个更棘手、性质也不同的问题。”
纳德拉曾于 10 月 10 日在 X 发文警告 AI 的风险,主张加强外部安全管控。他认为,企业应将 AI 模型视为内部安全威胁,采取防护措施时应假定模型遭到入侵。
纳德拉在帖子中写道:“我们需要通过可靠、具有确定性的系统设计、人工管控和完善的操作规程,为行为难以完全预测的 AI 模型建立防护机制。对于现有标准不足的领域,还需要制定行业标准。”
据IT之家了解,纳德拉并非唯一认为 AI 能力提升不能自动确保人类掌控 AI 的科技行业高管。OpenAI CEO 萨姆 · 奥尔特曼和 Anthropic CEO 达里奥 · 阿莫代伊都曾就 AI 的潜在威胁发出警告。今年 7 月,1000 多名 AI 从业者联署的一封信也警告,AI 能力的发展速度可能超过人类理解或控制它的能力。
来源:IT之家·人工智能 · ithome.com