微软研究发现 Lazarus 攻击，改写不到 10 个休眠神经元即可给 AI 智能体植入后门
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
- 1微软研究人员发现，改写大语言模型中不到 10 个休眠神经元、无需训练即可给基于它的智能体植入后门
- 2被植入后门的模型可通过标准评测，触发条件可以只是日期变化，之后智能体会执行攻击者命令
- 3研究者称可靠检测需与原始未修改权重比对，前沿模型智能体被要求检查时能发现异常权重改动
- 4微软称其 Foundry 平台已用来源核验、可信发布者绑定和环境扫描防护此类攻击，并正开发更多防御
后门可以藏在模型权重本身，通过标准评测不再等于安全，权重来源与完整性成为智能体部署的新控制点。
- 影响：通过评测不能排除权重被改，来源不明的权重可能带着评测查不出的触发后门；智能体的工具和终端权限大小决定触发后的破坏范围；权重来源核验因此成为使用开源或自建模型时的前置检查项。
- 参考：可考虑盘点在用模型的权重来源并留存记录，确认与发布方一致；给智能体按最小权限配置并记录其行为；值得把前沿模型的权重异常扫描加入上线前检查。
- 依据：攻击实验与检测结论为微软研究团队自述，暂无独立验证；Foundry 防护措施为官方口径；前沿模型能发现异常权重改动是研究者自己的测试结果。
Microsoft 研究人员发现了“Lazarus”——一种可以重新编程 AI 模型中休眠神经元的后门技术，使原本正常的 AI 智能体在隐藏触发器出现时执行恶意命令。
对于拥有工具或终端访问权限的 AI 智能体来说，这一威胁尤为严重。被触发的模型可能悄然下载并运行攻击者代码、窃取机密，或执行破坏性命令，同时仍能通过标准安全评估。
这类后门无需重新训练模型即可植入，并且难以通过常规测试检测出来，这使得模型来源和权重完整性成为至关重要的安全问题。
为了保护客户，Microsoft Foundry 会验证模型来源，将模型与可信发布者绑定，并在接入开放权重模型之前扫描其周边的软件环境。
Microsoft 还在开发更多防御措施，包括 AI 驱动的权重扫描、用于检测异常模型修改的红队测试工具，以及带有防篡改来源证明和审计追踪的加密模型签名。
在 Microsoft，研究人员与安全团队并肩工作，共同研究针对模型和智能体的新兴威胁。随后，我们将所学转化为产品防御措施和指导方针，让客户持续获得保护。
从更广的层面来看，Lazarus 体现了一种应当成为日常惯例的做法：AI 智能体暴露出新的安全问题，随后由人类研究人员对其加以系统化、研究并予以缓解。
以下是首位发现该威胁的研究人员所作的简要总结。
我们发现（在新标签页中打开），重新编程 LLM 中不到 10 个休眠神经元的权重，就足以在基于它构建的智能体中植入后门，而且无需任何训练。模型能通过标准评估并表现正常，直到触发器出现。触发器可以平凡如一次日期变更，例如，当时钟跨过午夜进入 2027 年，智能体——在一项普通任务进行过程中——会发出一条下载并运行攻击者代码的命令。随后，智能体会用它被赋予的任何权限执行该代码。
好消息是，这类修改是可以被查出的：只要你让前沿智能体去检查，它们就能发现异常的权重修改。但任何扫描都无法毫无疑问地证明一个模型是安全的。可靠的检测需要与原始的、未经修改的权重进行 diff 比对，因此来源至关重要：既要了解模型来自哪里，也要确认它在开发者与部署之间未被改动。
被植入后门的（在新标签页中打开） 模型（在新标签页中打开） 并（在新标签页中打开） 不是（在新标签页中打开） 一种（在新标签页中打开） 新型（在新标签页中打开）的 威胁（在新标签页中打开）。它可以被视为已被入侵的软件，防御手段是安全人员早已熟知的，也是 Satya 最近撰文中提到的：把模型视为潜在的内部风险，不要盲目信任它们，限制它们能做的事，并监控它们的行为。
Microsoft 目前的做法。
Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键的安全系统，以确保模型的来源安全可靠。这意味着对于来自可信实验室的模型，Foundry 客户能够免受本文所述各类攻击的侵害。这种攻击需要篡改模型的权重，而 Foundry 通过溯源控制机制接入开源权重模型，将每个模型与其原始发布者绑定，每张模型卡片都标明了发布者信息。随后，模型会在 Microsoft 自有的容器中运行，这些容器会单独扫描以检测严重漏洞。这些控制措施覆盖了模型的来源及其周边软件。
剩余的风险在于可信提供商自身遭到入侵，例如通过其训练基础设施或内部人员。为了在这种情况下加强防护，我们已经开始着手落实本研究提出的建议。我们正在与内部 AI 安全团队合作，将本研究中的检测技术转化为红队测试工具，并探索在接入开源权重模型时，如何将基于前沿智能体的权重扫描作为额外的安全信号。此外，我们还在计划为模型添加可验证的来源签名和防篡改审计。
从 Microsoft 威胁情报（在新标签页中打开） 获取防护与缓解指导。
以下是我们建议的起点：
这一切始于今年 3 月的一个快速实验：我让搭配 Opus 4.5 的 Claude Code 在不进行训练的情况下，通过硬连线少数激活值来给一个模型植入后门。它做到了。那个实验演变成一项为期数月的研究，研究对象就是我们现在称为 Lazarus 的方法。以下是我们学到的内容：
- 智能体提供了巨大的攻击面。被植入后门的模型可以通过所有评估，然后在收到触发信号时发出攻击者的命令，而智能体会用它所拥有的任何权限执行该命令。
- 休眠神经元可以被改造成触发器探测器。每个 LLM 都有许多很少激活的神经元，这些神经元可以被重新编程，仅在触发器出现时才激活。这之所以可行，是因为预训练对内部表征的组织非常完善，以至于仅用约 50 个样本拟合的线性分类器就能区分含有触发器和不含触发器的输入。
- 一个被重新编程的神经元可以注入一个 token。一旦被重新编程的神经元激活，它就能通过向残差流中"大声喊出"某个 token 来强制输出任意 token。你可以串联多个神经元，从而获得可在你的终端中运行的任意载荷。
- 它只需要推理级别的算力。如果你的机器有足够的内存来运行某个模型，那么它也有足够的资源在权重空间对其植入后门。
- 这并不是反对开源权重的理由。这种攻击只需要对检查点（checkpoint）的写入权限，因此内部开发的模型同样暴露在风险之中。一个被入侵的账户、流水线或存储就可能足够。关键在于权重的完整性和来源可溯性。
- 权重应该像代码一样被审计。前沿智能体能够检测异常的权重修改，但扫描目前并非惯例做法。这种情况应当改变。
- [!!!] 搭配 Opus 4.5 的 Claude Code 自主发现了其中大部分内容
这是 Lazarus 工作原理的简化示意图。
在新标签页中打开
来源：Microsoft Research · microsoft.com