谷歌 DeepMind 推出世界模型 Genie 4，一句话生成可交互虚拟世界并同步实时音频

IT之家 10 月 28 日消息，谷歌 DeepMind 于周二推出了最新的世界模型 Genie 4，目前处于研究预览阶段。这款最新模型能够生成迄今为止拟真度最高、可交互的虚拟世界，用户可以在模拟运行的过程中输入提示词来修改场景。该模型还能生成和虚拟世界同步的实时音频，涵盖音乐、环境音以及可交互对话。

IT之家注意到，就在 Genie 4 发布的数月之前，AI 视频初创公司 Runway 推出了自家第二款世界模型 GWM Worlds 2，这是一款可交互运行的模型，能够对用户输入做出动态响应，同时支持音频生成。与此同时，世界模型赛道开始出现整合趋势。李飞飞（Fei-Fei Li）创立的世界实验室（World Labs）被 AMD 收购，亚马逊正在洽谈收购 Decart，而 Rivian 刚刚收购了 Third Dimension，以此在内部搭建仿真能力，用于自动驾驶测试。

推出 Genie 4，是谷歌为在竞争激烈的赛道中保持领先而采取的最新举措。

一年多前，谷歌就以研究预览的形式发布了前代模型 Genie 3。除了画面拟真度大幅提升并新增音频能力之外，Genie 4 支持自由形式的编辑操作，比如实时调整天气、镜头角度，或是新增人物与物体。其最长可以维持两分钟连贯不变的场景，时长是前代模型的两倍，物理效果表现更好，虚拟人物也更加贴近真人。

谷歌的大模型 Gemini 和 Genie 4 的集成度也进一步提高，Gemini 相当于导演，负责规划步骤、校验画面帧，Genie 4 则负责生成视觉内容。在一项和 Gemini 机器人项目相关的研究实验中，Gemini 4 Argon 模型把任务拆解成多个步骤，再由 Genie 4 进行实时仿真。这项实验展示了一种可行方案：在真实世界开展机器人测试前，先在仿真环境里验证相关场景。

谷歌研究总监特贾斯 · 库尔卡尼（Tejas Kulkarni）在一场简报会上表示：“未来我们会越来越多地见到这类混合式世界模型，由 Gemini 编写代码和文本，Genie 4 实时读取这些内容，在不同抽象层级上对现实进行仿真。”

和其他世界模型一样，其主推的商业化落地场景包括游戏、交互式学习以及机器人领域。交互式学习的一个设想案例是，用户进入一幅描绘历史场景的画作当中，和画中的人物交流画里记载的事件。

不过，“可信测试者”也就是首批能够体验谷歌前沿产品的用户，发现了一个潜在新用途：电影原型制作。

谷歌 DeepMind 工程师迭戈 · 里瓦斯（Diego Rivas）在媒体简报会上说：“实时特性的价值，在需要维持连贯创作思路的场景里体现得尤为突出。比如创意构思阶段、分镜脚本阶段，所有需要快速迸发创意的环节都适用。”

谷歌还推出过 Veo 这款 AI 视频生成模型，可以根据文本、图片或者视频提示词生成高清短片，自带同步音频，这款工具在影视创作者群体中热度持续上升。

里瓦斯补充说，用户未来有望借助 Gemini Omni 这款多模态大模型，把原型素材转化为正式创作资产，Gemini 全模态可以基于图片、音频和文本来生成视频。不过他也提到，这些能力距离落地还有一段距离。

整场简报会上，里瓦斯反复强调 Genie 4 仍处在发展早期，完整产品最终会是什么样的体验还没有定论。团队也承认 Genie 4 仍存在短板：仿真运行时间越长，细节和物体就越容易出现偏移，团队还没有找到稳妥的办法，保证音频准确无误，同时让虚拟世界里的文字清晰可辨。

目前 Genie 4 已经面向可信测试者开放研究预览。未来几周内，该模型会陆续向谷歌 AI Ultra 订阅用户、Genie 项目开放，Genie 项目是谷歌推出的 AI 工具，可以根据文本或图片提示词生成可交互虚拟世界，Gemini 应用程序接口（API）和谷歌 AI Studio 的早期合作方也会获得使用权限。