Google DeepMind 发布 Gemma 4 12B，无编码器统一架构多模态模型
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
- 1Google DeepMind 发布 Gemma 4 12B，视觉与音频输入不经过编码器，直接进入 LLM 主干。
- 2官方称基准成绩接近自家 26B MoE 模型，总内存占用不到一半，16GB 内存笔记本可本地运行。
- 3Gemma 4 12B 是官方首个支持原生音频输入的中等规模模型，并内置 MTP drafter 降低推理延迟。
- 4Gemma 4 系列下载量已突破 150 million，新模型以 Apache 2.0 许可开放权重。
多模态能力下探到 16GB 内存的消费级笔记本，开源许可让企业本地跑多模态智能体的硬件门槛进一步降低。
- 影响：语音与图像等敏感数据的处理可评估在本地完成，减少数据外送环节；Apache 2.0 许可降低商用集成的授权顾虑；内存门槛下降让智能体试点的硬件预算更可控。
- 参考：可考虑选语音质检或单据图像这类固定流程做本地试点，对比云端调用的时延与成本；值得先盘点现有设备中满足 16GB 内存的机型清单。
- 依据：性能接近 26B、总内存占用不到一半、16GB 可本地运行等均为 Google DeepMind 官方口径，暂无独立验证；许可证与下载渠道以官方博客为准。
2026年6月3日
|
Gemma 4 12B 旨在将高性能多模态智能直接带到您的笔记本电脑上，将移动优先的效率与高级推理能力相结合。
Olivier Lacombe
Google Deepmind 产品管理总监
Gus Martins
Google DeepMind 产品经理
收听文章
[[duration]] 分钟
此内容由 Google AI 生成。生成式 AI 尚处于实验阶段
今天，我们推出 Gemma 4 12B，这是我们最新的模型，旨在将智能体多模态智能直接带到笔记本电脑上。Gemma 4 12B 弥合了适合边缘设备的 E4B 与更先进的 26B 混合专家（MoE）模型之间的差距，将强大的功能封装在更小的内存占用之中。它也是我们首款支持原生音频输入的中等规模模型。
感谢开发者社区，Gemma 4 模型的下载量目前已突破 1.5 亿次。你们构建了各种应用，从用于身体辅助的可穿戴机械臂到企业级 AI 安全。我们期待看到你们用这个最新成员构建出什么。
以下是 Gemma 4 12B 独特之处的概览：
- 新颖的统一架构：没有多模态编码器。视觉和音频输入直接流入 LLM 主干网络。
- 高级推理：基准测试性能接近我们的 26B 模型，解锁强大的多步推理和智能体工作流。
- 笔记本就绪：足够小巧，仅需 16GB 显存或统一内存即可在本地运行。
- 开放且易于获取：以 Apache 2.0 许可证发布，并获得整个开发者生态系统的支持。
- 草稿模型就绪：Gemma 4 12B 配备了多词元预测（MTP）草稿模型以降低延迟。
这些特性共同将先进的多模态能力带入日常硬件，同时不牺牲速度或推理能力。现在，让我们深入了解 Gemma 4 12B 是如何实现这一点的。
在本地运行最先进的智能体
在标准基准测试中，Gemma 4 12B 的性能接近我们更大的 26B MoE 模型，但总内存占用不到其一半。它足够小巧，可以在配备 16GB 内存的消费级笔记本电脑上本地运行，直接在你的设备上解锁强大的多模态和智能体体验。
体验独特高效的统一架构
Gemma 4 12B 的突出之处在于其处理视觉和音频输入的精简方法。传统的多模态模型通常依赖单独的编码器来转换图像和音频，然后将这些表示传递给语言模型。由于这些分离的编码器会增加延迟并提高内存使用，我们采用无编码器架构训练了 Gemma 4 12B，以直接整合音频和视觉输入。
以下是 Gemma 4 12B 原生处理多模态输入的方式：
- 视觉：我们用一个轻量级嵌入模块替换了 Gemma 4 的视觉编码器，该模块仅由一次矩阵乘法、位置嵌入和归一化组成。这使得 LLM 主干网络能够接管视觉处理。
- 音频：我们进一步简化了音频处理。我们完全移除了音频编码器，并将原始音频信号投影到与文本词元相同的维度空间中。
想要深入了解细节的开发者，请前往我们配套的 Gemma 4 12B 开发者指南。
立即开始使用
- 亲自试试：只需几次点击，即可在 LM Studio、Ollama、Google AI Edge Gallery App、Google AI Edge Eloquent 应用和 LiteRT-LM CLI 中进行体验
- 下载权重：直接从 Hugging Face 和 Kaggle 下载预训练和指令调优的检查点。
- 集成与学习：查阅开发者文档和快速入门笔记本。
- 使用你喜爱的开发工具：通过 Hugging Face Transformers、llama.cpp、MLX、SGLang 和 vLLM 实现本地推理流水线，或使用 Unsloth 高效地进行微调。
- 借助 Gemma Skills 解锁智能体开发：为支持智能体使用最新的 Gemma 进展进行构建，我们正式发布了Skills 仓库。这是一个专门为让智能体能够使用 Gemma 模型进行构建而设计的技能库。
- 按你的方式部署：使用 Google Cloud 在生产环境中启动端点。通过 Gemini Enterprise Agent Platform Model Garden、Cloud Run 和 GKE 按你的方式部署。
来源：Google DeepMind：Blog · deepmind.google