Microsoft Research 发布 MindTopo 基准,揭示多模态模型识图强于交互规划
Microsoft Research 推出 MindTopo 基准,评估多模态大模型对连通、封闭、顺序、分离、打结五类拓扑概念的推理与规划能力,任务由受控模拟器生成并提供精确真值。在多款闭源与开源权重模型上,静态推理成绩普遍强于交互式规划,两者均明显低于人类水平;官方错误分析称规划失误多发生在感知之后,模型难以跨多步保持结构关系,图像生成偶有帮助而视频推演常破坏拓扑或违反任务约束。
MindTopo 把多模态模型评测从量距离大小推向量结构关系,结果显示模型看得懂静态拓扑却难以在多步动作中保持它。
- 影响对机器人、可及性工具这类依赖结构关系判断的场景,静态识图成绩不能外推为多步操作可靠,选型需补交互测试;官方认为补齐缺口可能要显式拓扑状态或保结构的世界模型,现成模型难以直接胜任。
- 参考可考虑在静态识图评测之外为多模态模型加测多步交互任务,优先覆盖连通、封闭等业务相关的结构关系;值得参照 MindTopo 的模拟器思路自建对照集,先量出静态与规划的成绩差距再决定试点范围。