Google DeepMind 发布开放模型 DiffusionGemma，GPU 文本生成最高提速 4 倍
DiffusionGemma: 4x faster text generation
- 1Google DeepMind 发布开放实验模型 DiffusionGemma，用文本扩散一次并行生成 256 token，不再逐词输出。
- 2官方称专用 GPU 上推理最高提速 4 倍，单张 NVIDIA H100 超 1000 token/秒，GeForce RTX 5090 超 700 token/秒。
- 3官方明言其整体输出质量低于标准 Gemma 4，追求最高质量仍建议部署标准 Gemma 4。
- 4权重以 Apache 2.0 许可在 Hugging Face 开放下载，26B MoE 推理仅激活 3.8B 参数，量化后可装入 18GB 显存。
Google 把 Gemini Diffusion 研究做成开源实验模型，用输出质量换取本地生成速度，瞄准低并发、低延迟的交互场景。
- 影响：本地低延迟交互类应用多了一个 Apache 2.0 开源选项，可自行部署和微调改造；官方明言质量低于标准 Gemma 4，高并发云端场景并行解码收益递减、成本可能更高；已有高端 GPU 的团队试用门槛主要是 18GB 显存。
- 参考：可考虑选行内编辑或代码补全这类低延迟场景做本地试点，在 H100 或 RTX 5090 上实测吞吐与质量差距；值得把现有云端推理账单和 GPU 库存放在一起算，判断低并发负载是否值得本地化。
- 依据：4 倍提速、1000+ token/秒、18GB 显存等数字均为 Google DeepMind 官方口径，暂无独立验证；质量低于 Gemma 4 与云端收益递减是官方自述的取舍。
Jun 10, 2026
|
我们最新的开放实验模型在专用 GPU 上实现了最高 4 倍的推理速度提升，并为探索对速度要求严苛的交互式本地工作流打开了大门。
Brendan O'Donoghue
研究科学家
Sebastian Flennerhag
研究科学家
今天，我们推出 DiffusionGemma，这是一款探索文本扩散（text diffusion）的实验性开放模型——一种极其快速的文本生成方法。该模型以 Apache 2.0 许可证发布，是一个 26B 专家混合（MoE）模型，超越了典型自回归大语言模型（LLM）逐个 token 的顺序处理方式，而是同时生成整块文本，在 GPU 上实现最高 4 倍的文本生成速度。
DiffusionGemma 建立在 Gemma 4 系列业界领先的单位参数智能水平以及尖端的 Gemini Diffusion 研究之上，集成了一个旨在最大限度提高生成速度的新型扩散头。虽然自回归 Gemma 4 模型仍然是高质量生产输出的标准，但 DiffusionGemma 专为探索对速度要求严苛的交互式本地工作流的研究人员和开发者而设计，例如内联编辑、快速迭代以及生成非线性文本结构。
为开发者解锁新价值
构建实时交互式 AI 应用的开发者常常为本地推理的延迟瓶颈而苦恼。DiffusionGemma 直接应对这些挑战，并做出了一些关键权衡：
- 极速推理：通过将解码瓶颈从内存带宽转移到计算，DiffusionGemma 在专用 GPU 上的 token 输出速度最高可达 4 倍。（单个 NVIDIA H100 上每秒 1000+ 个 token，NVIDIA GeForce RTX 5090 上每秒 700+ 个 token）。 1
- 硬件需求亲民：作为一个总参数量为 26B 的专家混合（MoE）模型，DiffusionGemma 在推理时仅激活 3.8B 参数，量化后可以轻松运行在高端专用消费级 GPU 的 18GB VRAM 限制之内。
- 双向注意力：每次前向传递并行生成 256 个 token，使每个 token 都能关注所有其他 token。这为内联编辑、代码填充、氨基酸序列或数学图等非线性领域提供了显著优势。
- 智能自我纠错：模型会迭代式地改进自身的输出，能够一次性评估整个文本块，从而实时修复错误。
- 实验性质 & 生产建议：由于优先考虑速度和并行布局生成，DiffusionGemma 的整体输出质量低于标准 Gemma 4。对于要求最高质量的应用，我们建议部署标准 Gemma 4。
你可以通过微调来提升 DiffusionGemma 在特定任务上的表现。在下面的示例中，Unsloth 对 DiffusionGemma 进行了微调，使其能够玩数独——自回归模型很难完成这项任务，因为每个 token 都依赖于未来的 token。DiffusionGemma 的双向注意力让这变得容易得多。
经微调的 DiffusionGemma 正在解数独。
为什么文本生成要使用扩散？
虽然 AI 研究界多年来一直在探索基于扩散的文本生成，但将其应用于大型模型始终是一个挑战。DiffusionGemma 通过改变模型使用硬件的方式改变了这一局面。
与传统模型的权衡
大多数语言模型的行为就像打字机，从左到右一次生成一个 token。在云端，这种方式是高效的，因为服务器可以将数千个用户请求批量处理，以共享硬件负载。但在本地为单个用户运行时，这种逐词生成的过程会让你的专用 GPU 或 TPU 利用率不足——它大部分时间只是在等待下一次“按键”。
DiffusionGemma 颠倒了这种低效模式。它不再逐词顺序预测，而是同时起草整段 256 个 token 的段落。通过一次性给计算机处理器分配更大的工作量，DiffusionGemma 充分发挥你的硬件潜力。它将你的模型推理从一台顺序工作的打字机升级为一台同时盖印整块文本的大型印刷机。
由 Hugging Face 制作的 DiffusionGemma 文本生成 3D SVG 演示。逐步生成过程。
这意味着 DiffusionGemma 的加速设计针对的是本地和低并发推理。在高 QPS 的云端服务中，自回归模型可以被部署以高效地充分利用算力，因此 DiffusionGemma 的并行解码收益递减，并可能导致更高的服务成本。其吞吐量优势在单个加速器上低至中等批量大小时最为显著。
文本扩散的工作原理
正如 AI 图像生成器从视觉噪点开始并迭代精炼成清晰图片一样，DiffusionGemma 将这一方法应用于文本：
- 画布：模型从一张由随机占位 token 组成的画布开始。
- 迭代精炼：模型进行多次处理，锁定正确的 token，并将其作为上下文线索来精炼其余部分。
- 最终润色：文本收敛为高质量输出。
由于模型可以在生成的同时处理整段内容，它解锁了新的模型行为模式，例如完美闭合复杂的 markdown 格式，或近乎实时地生成并渲染代码。
立即开始使用
- 下载权重：立即在 Hugging Face 上获取实验性模型权重（以宽松的 Apache 2.0 许可证发布）。
- 集成与学习：在我们的 DiffusionGemma 开发者指南中了解更多。或深入研究DiffusionGemma 可视化指南，了解其底层机制。
- 使用你喜爱的开发工具：使用 MLX、vLLM（集成支持由 Red Hat 提供）以及 Hugging Face Transformers 高效地部署模型。为便于快速实验，我们将发布一个使用 Hackable Diffusion 的微调教程，这是一个为可组合性设计的模块化 JAX 工具箱。你还可以使用 Unsloth 和 NVIDIA NeMo 探索微调。此外，对 llama.cpp 的官方支持也即将推出。
- 体验优化后的性能：我们与 NVIDIA 合作，在整个硬件栈上进行优化，确保与消费级设备兼容（针对 GeForce RTX 5090 和 4090 GPU 进行量化），同时在企业系统（采用先进 NVFP4 内核的 Hopper 和 Blackwell）上保持高性能，包括用于本地桌面部署的 NVIDIA DGX Spark 和 DGX Station，以及面向 AI 专业人士的 RTX PRO。对 NVFP4（4 位浮点）的原生支持加速了计算吞吐量，使模型能够以更快的速度运行，同时保持近乎无损的精度。
- 按你的方式尝试：在你的桌面专用 GPU 上运行，或通过 Gemini Enterprise Agent Platform Model Garden 或 NVIDIA NIM 在云端运行。
来源：Google DeepMind：Blog · deepmind.google