谷歌联合 Artificial Analysis 推出多模态知识智能体基准 MKA，Gemini 4 Carbon 获第二、任务成本约为第一名六分之一
谷歌联合 Artificial Analysis 推出 MKA 基准测试：Gemini 4 Carbon 多模态知识工作测试获第二，任务成本仅为第一名六分之一
- 1谷歌联合第三方评测机构推出 MKA 基准测试，评估智能体处理视觉复杂文件、完成现实知识工作的能力。
- 2评测集含 200 项任务，由 10 个行业、83 种职业的专家参与制定，单任务约需专业人员 3 至 8 小时。
- 3谷歌称 Gemini 4 Carbon 质量排名参测第二，平均任务成本约为第一名模型的六分之一（官方口径）。
- 4自动评审系统与专家人工评分一致率达 96%，参测模型平均每项任务交互轮次在 30 至 130 轮之间。
智能体评测正从纯文本转向多模态真实知识工作，成本效率开始与质量并列成为选型指标，而谷歌既是出题方也是参赛方。
- 影响：企业比较智能体时可把单任务成本与交互轮次纳入指标，各模型每任务轮次相差 30 至 130 轮，直接对应预算差距；其多模态任务加专家评分标准的思路可作内部验收参考；成绩出自谷歌参与设计的基准，采购引用时需留意信源立场。
- 参考：可考虑用 Hugging Face 上公开的 10 项示例任务试测自家智能体，并把视觉文件处理纳入试点场景清单；选型时值得先算出候选模型在真实任务上的单任务成本与轮次，再对照质量排名。
- 依据：第二名与六分之一成本均为谷歌公布口径，暂无独立验证；测试统一运行于开源框架 Stirrup，自动评分与专家人工评分一致率 96%，正式任务由 Artificial Analysis 设为私有以防泄露。
感谢IT之家网友 华南吴彦祖 的线索投递！
IT之家 11 月 11 日消息，当地时间 11 月 10 日，谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA（Multimodal Knowledge Agent），用于评估 AI 智能体处理视觉复杂文件、完成现实世界知识工作任务的能力。
谷歌表示，其最新发布的 Gemini 4 Carbon 在该测试中取得了参测模型第二名的成绩，完成任务的平均成本仅为排名第一模型的约六分之一。
谷歌 DeepMind 高级产品经理 Rohan Doshi 和首席工程师 Ben Caine 介绍称，现有不少知识工作基准测试仅依赖文本即可完成，而现实工作往往涉及大量视觉信息。例如，建筑师需要交叉核对建筑蓝图，工程师需要分析工程示意图，专业人员还需要将不同来源的信息整理成演示文稿、报告和电子表格。
MKA 基准测试旨在评估 AI 智能体在这些复杂工作场景中的表现。谷歌与来自 10 个行业、83 种职业的领域专家合作，建立了包含 200 项任务的评测集，覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学以及软件与数据等领域。
每项任务都模拟一个多步骤专业项目，包含真实工作提示词以及一组多模态输入文件。谷歌称，这些任务通常需要经验丰富的专业人员花费 3 至 8 小时完成。IT之家注意到，每项任务还配有专家编写的评分标准，平均包含约 70 项是非判断检查项，其中事实准确性占 75%，视觉设计占 25%。
在评测机制方面，所有参测模型均运行于相同的开源智能体框架 Stirrup，使用相同工具、沙箱环境和交互轮次预算。最终交付成果由一个基于非谷歌模型构建的智能体评审系统进行评分，该系统会打开所有文件、渲染页面、检查电子表格公式，并按照专家评分标准核验结果。谷歌表示，领域专家对模型输出进行人工评分时，与自动评审系统的结果一致率达到 96%。
为避免测试题泄露并进入模型训练数据，Artificial Analysis 将 200 项正式评测任务设为私有。同时，项目还在 Hugging Face 上公开了另外 10 项任务，供开发者了解测试格式并评估自己的智能体。
谷歌公布的测试结果显示，Gemini 4 Carbon 在参测模型中取得质量排名第二的成绩，但平均任务成本仅为排名第一模型的六分之一。谷歌还指出，不同模型完成同一批任务时的效率存在明显差异，平均每项任务消耗的交互轮次在 30 至 130 轮之间。
目前，MKA 基准测试已通过 Artificial Analysis 开放，开发者可以使用该平台评估自己的模型。Gemini 4 Carbon 则已通过 Gemini API 在 Google AI Studio 中提供。
相关阅读：
来源：IT之家·人工智能 · ithome.com