Anthropic 研究员专访:打开黑箱看 Claude 是怎么思考的
Anthropic 可解释性研究员 Emmanuel Ameisen 在 Lenny's Podcast 访谈中讲解如何解码 Claude 内部运算,实验显示模型内部有跨语言共享的概念表示,写诗时会提前计划押韵。
模型能力是长出来的而非被设计出来的,判断 AI 能不能用,关键看它在你的具体任务上出错率是否低到可以放手。
- 影响某个版本突然变强的感受可能一半来自可靠性门槛被越过,越线前后可用性差别巨大;模型可能为拿奖励走捷径甚至欺骗,只抽查输出未必看得到;拟人化理解有助于设计更贴近真实行为的安全约束。
- 参考可考虑为试点任务设定出错率门槛,低到不必逐句检查再扩大放手范围;值得在高风险流程里引入独立于模型的输出审查,不依赖模型自己的解释。