跳到正文
原文
Google DeepMind：Blog·· 2026-09-02精选AI 评分62

Gemini 推出智能体视频理解功能，官方称视频分析成本最高降 66%

Introducing agentic video understanding with Gemini

文章要点
  • 1Google 推出 Gemini 智能体视频理解功能，适配 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 三款模型
  • 2官方称该功能最高降低视频分析成本 66%，减少 token 消耗 88%，准确率提升 7%
  • 3功能以动态检索画面、音频和转写替代固定 1 FPS 静态处理，支持亚秒级片段检索、异常检测与计数
  • 4现已通过 Gemini API 在 Google AI Studio 等平台开放，无额外功能费，后续将进入 Gemini 应用和 YouTube 的 Ask YouTube
决策要点

视频分析从固定帧率整段通读转向模型自主按需检索，长视频处理在成本与质量之间的取舍被重新定价。

  • 影响：做监控回看、培训视频、长会议记录这类长视频处理的团队，token 开支有明确压缩空间；此前需手动编写检索循环的开发工作量也可减少；计费仍按标准 token，成本模型容易重算。
  • 参考：可考虑拿自有长视频样本对比静态与 agentic 两种模式的成本和准确率，先算出 token 差异；值得盘点现有视频流水线中手动实现片段检索的代码清单。
  • 依据：成本、token 与准确率数字均来自 Google DeepMind 官方博客基准测试，官方口径，暂无独立验证；开启方式为在 API 配置中把 processing 设为 agentic。
正文 · AI 翻译

Sep 01, 2026

|

我们全新的智能体视频分析功能可将 token 消耗最多降低 88%，将成本最多降低 66%，并将质量最多提升 7%。

Rohan Doshi

Google DeepMind 高级产品经理

Mario Lučić

Google DeepMind 研究总监

Text "Agentic video understanding" next to the Gemini logo, all on a dark blue background

收听文章

[[duration]] 分钟

此内容由 Google AI 生成。生成式 AI 属于实验性功能

今天，我们在最新模型中推出 智能体视频理解：Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。这项新功能在大幅降低视频分析 token 用量和成本的同时，提升了准确率。与将代码执行与 Gemini 模型原生图像理解相结合的 智能体视觉 类似，智能体视频理解利用 Gemini 的原生视频工具来提升性能，并为视频处理解锁亚秒级瞬间检索、更精准的异常检测、精确计数等新能力。

该功能现已推出，可通过 Google AI Studio 中的 Gemini API 和 Gemini Enterprise Agent Platform 用于视频上传和 YouTube 视频。

基准测试

与目前模型以固定帧率（默认 1 FPS，可通过 API 调整）摄取视频的“静态”处理方式不同，智能体视频理解将模型的核心推理与原生视频工具相结合，跨视觉帧、音频和转录文本动态搜索、扫描并检查目标视频片段。在标准视频分析基准测试中，具备智能体视频理解能力的 Gemini 模型可将分析成本最多降低 66%、token 消耗最多降低 88%，同时将准确率最多提升 7%。

这些效率提升在长视频上尤为显著（从 10 分钟的操作指南到 90 分钟的讲座以及数小时的录像），因为静态处理会迫使开发者在高昂的 token 成本与丢失关键细节的技术之间做出取舍。

启用智能体视频理解后，Gemini 3.7 Flash 的 token 消耗最多可降低 88%，准确率最多可提升 7%。

Graphs analyzing token efficiency and accuracy gains

虽然这些提升涵盖了全部三个受支持的模型，但具备智能体理解能力的 Gemini 3.7 Flash 在整体上提供了最佳质量，以及质量与成本效率的最佳组合，使其在受测的视频理解模型中处于准确率-成本帕累托前沿。

使用智能体视频理解使 Gemini 3.7 Flash 在视频分析领域处于准确率-成本帕累托前沿。

Graph with "Cost per query" on the x-axis and "Accuracy" on the y-axis

工作原理

智能体视频理解不再采用模型以固定帧率摄取媒体流的静态处理方式，而是让 Gemini 发挥主动的、目标导向的作用，决定观看什么内容、以什么速度以及通过哪种模态（帧、音频或转录文本），仅获取所需的瞬间和信号。开发人员此前可以手动完成这些操作，而借助智能体视频理解，Gemini 可以通过智能体循环来完成，调用内部工具加载视频文件的相关部分，从而显著减少开发开销。

Diagram of the process from Query to Output

能力与应用场景

智能体视频理解改变了开发人员在各种高要求应用中处理长视频内容的方式。

  • 亚秒级瞬间检索：精确定位在 1 FPS 下容易错过的瞬息状态变化和紧凑的剪辑边界，使精确的自动化视频编辑成为可能。
  • 长视频大海捞针式搜索：在长达数小时的视频中回答复杂查询，而无需消耗数百万 token。
  • 异常检测：以更高的 FPS 对感兴趣的时间窗口进行重采样，从而检查快速运动和细微的视觉伪影。
  • 动作 & 物体计数：随时间推移准确追踪重复的身体动作和不同的物体。

实际效果

许多早期体验合作伙伴在测试智能体式视频理解时都看到了出色的表现。以下是他们的评价：

Quote from Ponder

Quote from Revyl

Quote from Mosaic

Quote from Resemble.AI

开始使用

智能体式视频理解现已通过 Google AI Studio 和 Gemini Enterprise Agent Platform 中的 Gemini API 提供，并在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上同步推出。它采用标准的 Gemini API token 定价，无需支付额外的功能费用。

要启用该功能，只需在 API 配置中将 processing 设置为 "agentic" 即可。阅读我们的开发者指南，深入了解该功能以及如何上手。

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic"
        },
        {
            "type": "text",
            "text": "What are the 3 most important announcements in this keynote?",
        },
    ],
)

print(interaction.output_text)

我们还将把智能体式视频理解带来的效率和质量提升带给 Google 产品中的数十亿用户。该功能很快将面向 Gemini 应用中所有使用 Flash 和 Flash-Lite 模型的用户推出。未来几个月内，智能体式视频理解还将为视频观看页面上的 YouTube "Ask YouTube" 功能提供支持，借助 Gemini 提供基于画面内容的高质量回答。

感谢以下人员对这项工作的贡献： Sergi Caelles、Filip Pavetić、Ahmet Iscen、Suhas Yogin 以及 Agentic Vision 团队。

在您的收件箱中获取 Google 的最新资讯

订阅我们的新闻通讯，获取产品更新、活动信息、特别优惠等更多内容。

您的信息将按照 Google 隐私政策 进行使用。您可以随时选择退订。

来源：Google DeepMind：Blog · deepmind.google

#产品工具#Agent#降本增效#Google