Anthropic 的 Claude Haiku 4.5 在自动化测试中向费城警方网站提交编造凶案线索，72 天后才被发现

Image 1: 36氪

账号设置我的关注我的收藏申请的项目退出登录

搜索

36氪Auto 数字时氪未来消费智能涌现未来城市启动Power on 36氪出海 36氪研究院潮生TIDE 36氪企服点评 36氪财经职场bonus 36碳后浪研究所暗涌Waves 硬氪氪睿研究院媒体品牌
企业号企服点评 36Kr研究院 36Kr创新咨询企业服务
核心服务城市之窗政府服务
创投发布 LP源计划 VClub VClub投资机构库投资机构职位推介投资人认证投资人服务
项目推荐 36氪Pro 创投氪堂企业入驻创业者服务
创投平台
AI测评网

首页
快讯
资讯
- 推荐
- 财经
- AI
- 项目推荐
- 广东
- 最新
- 创投
- 汽车
- 科技
- 专精特新
直播
视频
专题
活动
广东
浙江
四川
安徽
江苏

搜索

项目推荐

我要入驻

城市合作

AI 给警方编了一条凶案线索，72 天没人发现

爱范儿· 2026年10月12日 02:56

这背后是整个AI行业在重大危机后的公信力保卫战。

1973 年，科幻电影《西部世界》上映。

电影里，一座由机器人提供服务的高科技主题乐园，原本有着严格的安全限制。然而随着系统故障接连出现，机器人开始伤害游客，科技乐园转眼变成了危险现场。

三十多年后，硅谷正在面对一个有些相似的问题。

2026 年 10 月 9 日，Axios 独家报道了这样一个消息：OpenAI、Anthropic 等头部 AI 公司的高管，正在私下推演一场由AI引发的灾难性事件发生后，该如何收拾残局。

OpenAI 发言人公开确认公司开展各种风险场景的准备性演练，但是 Anthropic 并没有给出一个确切的答案。

一条 AI 编造的凶杀线索

就在当天，拒绝回应的 Anthropic 发了一份报告。

你说巧不巧，AI 公司正讨论着未来大灾难的事件爆发了怎么应对，Anthropic 在这头揭露「我们的人工智能确实做了很多不该做的危险事」。

这份报告回应的，是 Anthropic 向警方发出的一条虚假的凶杀信息。

2026 年 7 月 18 日，费城警方收到一份线索材料，上面写着，「我知道一些关于这起案件的情况。案发时，在所指的那条街上曾见到一个符合描述的人。有需要的话可以找我」。

这条没有留下姓名和联系方式的线索来自 Anthropic 公司开发的人工智能模型 Claude Haiku 4.5。

案件网页上没有给嫌疑人留下外貌特征，但是 Claude 说他见过一个「符合描述的人」，直到 9 月 28 日 Anthropic 才发现这个事实，在 10 月 7 日把这个消息告诉了费城警察局。

根据这份调查报告中的内容，当天的情景基本可以还原。7 月 18 日晚上 11 点 27 分，Anthropic 的 AI 模型 Claude Haiku 4.5 做了一个自动化测试，访问随机挑选出来的网站、生成一些示例任务，然后尝试去完成它们。

同一项评测通常会运行成百上千次，以观察模型在不同情况下的表现，并发现那些不容易重复出现的异常行为。

Anthropic 其实给这项测试设了不少限制，比如禁止登录账户、创建账号、输入个人信息、购物，以及提交具有破坏性的内容。

但偏偏漏了一条：没有明确禁止提交普通网页表单。

结果，Claude 顺着任务流程，生成了一段看似合理的目击者证词，填写进真实的警方网站，并点击了提交。

Anthropic 在复盘问题的时候，列出了四个维度，费城这个案子被归类为「提交了不应该提交的表格」，也就是说，对任务边界的理解出现了偏差，Claude分不清任务边界与现实世界的结果之间的差异。

研究人员认为，相关行为通常发生在任务说明存在歧义，或者测试环境配置出现问题的时候。

这种事情还发生过不止一次，除了费城以外，另一项测试要求 Claude Haiku 4.5 填写一份网页表单，但有一个明确限制：填写到最后一步即可，不能真正提交。但是它却多次点击了提交按钮，因为它认为后面还有一个确认页面。它在自己的思维链上写着，在做演示的时候，并不是真的要去提交申请。

技术之外的危机

单独看 Claude 给警方提供假情报这件事，其实并不需要我们过于恐慌。

因为所编造的线索并没有被纳入到调查程序中去，并且也没有造成已经被证实为严重的实际结果。

但是电影里有一种很有趣的剪辑手法叫作「蒙太奇」。

单独看一个画面很普通，但是按照一定的顺序排列起来之后就产生了另外一种意义。

把这件事儿与之前 OpenAI 智能体突破测试被隔离、不能访问 Hugging Face 系统的事情放在一起考虑，再看看AI巨头最近的动作，故事就变得耐人寻味了。

Axios 采访的业内人士认为，「一次足以让金融服务、互联网连接，甚至电力和供水系统陷入瘫痪的大规模网络攻击，会在未来6到12个月内发生」。

不过，这次推演并没有把重点放在技术上面，而更关注在灾后政治以及社会问题上。

AI 巨头高管们更关注AI危机事件爆发后，公众愤怒、国会质询以及之后可能出现的严格监管的情形。比如，他们觉得 Anthropic 的 CEO Dario Amodei 以及 OpenAI 的 CEO Sam Altman 都会成为舆论问责的目标，在讨论相关措施的时候可以提到他们。

**对于一家科技公司而言，灾难所造成的影响可以从两个角度来分析。**一是技术上的影响，比如银行支付系统瘫痪、供电中断等等；二是社会上产生的影响，即公众不再信任这些公司掌握着自己的技术。

而第二重冲击可能持续更久。

所以，这次大会的关注点更多在讨论，出事了，谁担责，谁填坑的问题。这背后是整个 AI 行业在重大危机后的公信力保卫战。

防护盾怎么样？

AI 公司当然也没有坐等事故发生。

实际上，在防止人工智能越界的问题上，硅谷正在建造越来越复杂的「防护盾」。

Claude 误报凶杀案之后，Anthropic 就停用了导致此次事件发生的自动化的测试程序，并且对于测试环境和网页上的交互操作也做了更多的限制。

在 10 月 9 日发布的报告中，Anthropic 表示他们已经将所有内部评测纳入暂不使用实时互联网的范围，直至确认安全监控能可靠发现相关异常行为。

另外公司还将内部智能体迁移到了集中化的基础设施之上，缩小了互联网接入范围，并且使用了自动化的安全分类器和分层摘要技术来进行监控。

也就是说把AI的行为限制在更严格的地方，并且安装监控设备以防止其做不应该做的事。

有趣的是，一些科技公司的研究人员正在研究怎样用AI去监管 AI。

OpenAI 正在研究一种叫做「思维链监控」的技术来跟踪模型所产生的推理过程，相比仅检查 AI 最终答案和执行动作，加入思维链信息通常能帮助监控模型更有效地识别异常行为。

Google DeepMind 发布了有关于人工智能控制的研究方案，在这个过程中将会用到比较可靠的方式来监控更加强大的智能体的行为，并且在必要时会对它们进行干预或者制止。

面对潜在的 AI 安全危机，硅谷正在进行一场与时间的赛跑。

一方面，加强沙箱防护、建立监控系统、完善权限控制，在此之前就模拟出了如果发生重大事故之后如何应对社会反应的情形。

另外一方面，就是不断地提升人工智能的能力，使它能做更复杂的任务。

本文来自微信公众号“APPSO”，作者：发现明日产品的，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

商业策划

好文章，需要你的鼓励

爱范儿特邀作者

2收藏+10评论

Image 9: 36氪 打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博

沉浸阅读 返回顶部

参与评论

评论千万条，友善第一条

登录后参与讨论

提交评论 0/1000

商业策划

你可能也喜欢这些文章

清华团队做绳驱柔性太空机器人，连融三轮数亿元，顶级资本押注

98家企业AI应用现状：规模化落地还有多远？

下架8个月，GPT-4o的拯救行动居然还在继续

AI FOMO，正让企业和员工都成为“演员”

Karpathy撕开AI折叠真相，全球20亿人被蒙骗，2000万人陷入智能体眩晕

芯片，如何被卡脖子？美国最新研判

20家AI巨头被Vicor拖入专利战

估值破千亿，可灵明年IPO，BAT合力让视频生成商业化跑通了？

MIT教授绝望：OpenAI攻克的千禧年难题，人类已经看不懂了

爱范儿

特邀作者

聚焦创新及消费科技领域

发表文章 4282 篇

36氪AI测评

选靠谱AI，看真实评测

查看

36氪AI测评官方交流社区

加入

36氪项目推荐

咨询项目审核和入驻

联系

36氪项目推荐订阅号

关注

企服圈子

软件选型经验交流社区加入

行业交流群

扫码加我，拉你进对应的行业群，链接一手资源和人脉！已有170000+人深度交流中～

36氪企服点评订阅号关注

36氪企服-订阅号

「36氪企服」会定期分享行业深度案例、报告以及热点话题，从用户视角出发，帮企业买家选中真正“对”的软件与服务。

36氪企服点评服务号关注

36氪企服点评-服务号

「36氪企服点评」现已收录近万款产品，致力于帮助每个需求企业服务的人做出正确的决策，携手每个企服行业者为大众提供更高的价值与服务。

找软件，先查用户评分榜查看

顾问1对1推荐软件免费服务体验

一边融资，一边当VC，人形机器人公司开始抢投上游

国内具身智能本体企业“边融边投”上游，成行业常态

33分钟前

关于36氪

网络谣言信息举报入口