通义千问发布视觉语言模型 Qwen2.5-VL，开源 3B、7B、72B 三档尺寸

QWEN CHAT GITHUB HUGGING FACE MODELSCOPE DISCORD

我们发布 Qwen2.5-VL，这是 Qwen 全新的旗舰视觉语言模型，相较于上一代 Qwen2-VL 实现了重大飞跃。要体验最新模型，欢迎访问 Qwen Chat 并选择 Qwen2.5-VL-72B-Instruct。此外，我们在 Hugging Face 和 ModelScope 上开源了 3 种尺寸的 base 和 instruct 模型，包括 3B、7B 和 72B。

主要特性包括：

• 视觉理解事物：Qwen2.5-VL 不仅精通识别花、鸟、鱼、昆虫等常见物体，还非常擅长分析图像中的文本、图表、图标、图形和布局。

• 具备智能体能力：Qwen2.5-VL 可以直接作为视觉智能体，进行推理并动态操控工具，能够操作电脑和手机。

• 理解长视频并捕捉事件：Qwen2.5-VL 可以理解超过 1 小时的视频，并且这次它新增了通过精准定位相关视频片段来捕捉事件的能力。

• 支持多种格式的视觉定位：Qwen2.5-VL 能够通过生成边界框或点来精准定位图像中的物体，并可为坐标和属性提供稳定的 JSON 输出。

• 生成结构化输出：对于发票、表单、表格等扫描数据，Qwen2.5-VL 支持其内容的结构化输出，有助于在金融、商业等领域的应用。

性能

我们将我们的模型与 SOTA 模型以及同等规模中最优秀的模型进行评估对比。旗舰模型 Qwen2.5-VL-72B-Instruct 在涵盖多个领域和任务的一系列基准测试中取得了具有竞争力的表现，包括大学水平问题、数学、文档理解、通用问答、数学、视频理解和视觉智能体。值得注意的是，Qwen2.5-VL 在理解文档和图表方面取得了显著优势，并且无需针对特定任务的微调即可充当视觉智能体。

在较小的模型方面，Qwen2.5-VL-7B-Instruct 在多项任务上优于 GPT-4o-mini，而作为边缘 AI 解决方案的 Qwen2.5-VL-3B 甚至超越了上一代 Qwen2-VL 的 7B 模型。

模型能力

1. 全球图像识别

Qwen2.5-VL 显著增强了其通用图像识别能力，将可识别的图像类别扩展到超大规模。不仅包括植物、动物、名山大川的地标，还包括影视剧中的 IP 以及种类繁多的产品。

示例：景点识别 下一个

用户

这些景点是什么？请给出它们的中英文名称。

Qwen2.5-VL

这些景点是：

1. 左上：The Great Pyramids of Giza (埃及的吉萨大金字塔)
2. 右上：The Great Wall of China (中国的长城)
3. 左下：The Statue of Liberty (美国的自由女神像)
4. 右下：The Terracotta Army (中国的秦始皇兵马俑)

2. 精准物体定位

Qwen2.5-VL 利用边界框和基于点的表示进行定位，支持层级化定位和标准化的 JSON 输出。这一增强的定位能力为视觉推理奠定了基础。

示例：精准物体定位 下一个

用户

检测图像中的所有摩托车手，并以坐标形式返回其位置。输出格式应类似于 {“bbox_2d”: [x1, y1, x2, y2], “label”: “motorcyclist”, “sub_label”: “wearing helmat” # or “not wearing helmat”}。

Qwen2.5-VL

[
	{"bbox_2d": [341, 258, 397, 360], "label": "motorcyclist", "sub_label": "not wearing helmat "},
	{"bbox_2d": [212, 332, 274, 448], "label": "motorcyclist", "sub_label": "not wearing helmat "},
	{"bbox_2d": [66, 124, 112, 198], "label": "motorcyclist", "sub_label": "not wearing helmat "},
	{"bbox_2d": [5, 235, 63, 320], "label": "motorcyclist", "sub_label": "wearing helmat "}
]

3. 增强的文本识别与理解

Qwen2.5-VL 将其 OCR 识别能力提升到了全新水平，多场景、多语言、多方向的文本识别与文本定位性能均得到增强。此外，它在信息提取方面也有显著提升，能够满足资质审核、金融业务等领域日益增长的数字化和智能化需求。

示例：竖排文本识别 下一步

用户

读取图像中的所有文本，按行输出。

Qwen2.5-VL

平安喜樂 八方來財 順風順水順財神 暴富 大吉 諸事皆順 福 時來運轉 發財 如意 有錢有勢有前程 好運來

4. 强大的文档解析能力

Qwen2.5-VL 设计了一种名为 QwenVL HTML 格式的独特文档解析格式，可基于 HTML 提取版面信息。QwenVL HTML 能够在杂志、研究论文、网页甚至手机截图等多种场景中进行文档解析。

示例：QwenVL HTML 下一步

用户

QwenVL HTML

Qwen2.5-VL

<html>
<body>
<h1 data-bbox="879 283 1605 348">Qwen2.5 Technical Report</h1>
<p data-bbox="1124 406 1360 456"></p>
<address class="author"><p>Qwen Team</p></address>
<div class="image" data-bbox="778 491 850 541"><img data-bbox="778 491 850 541"/></div>
<p data-bbox="885 491 1460 541">https://huggingface.co/Qwen</p>
<div class="image" data-bbox="778 541 850 589"><img data-bbox="778 541 850 589"/></div>
<p data-bbox="885 541 1708 589">https://modelscope.cn/organization/qwen</p>
<div class="image" data-bbox="792 589 850 639"><img data-bbox="792 589 850 639"/></div>
<p data-bbox="885 589 1584 639">https://github.com/QwenLM/Qwen2.5</p>
<h2 data-bbox="1143 681 1344 733">Abstract</h2>
<p data-bbox="434 785 2050 1252">In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning, including offline learning DPO and online learning GRPO. Post-training techniques significantly enhance human preference, and notably improve long text generation, structural data analysis, and instruction following.</p>
<p data-bbox="434 1262 2050 1587">To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich configurations. The open-weight offerings include base models and instruction-tuned models in sizes of $0.5 \mathrm{~B}, 1.5 \mathrm{~B}, 3 \mathrm{~B}, 7 \mathrm{~B}, 14 \mathrm{~B}, 32 \mathrm{~B}$, and $72 \mathrm{~B}$ parameters. Quantized versions of the instruction-tuned models are also provided. Over 100 models can be accessed from Hugging Face Hub, ModelScope, and Kaggle. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio.</p>
<p data-bbox="434 1587 2050 2052">Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math (Yang et al., 2024b), Qwen2.5-Coder (Hui et al., 2024), QwQ (Qwen Team, 2024d), and multimodal models.</p>
<div class="image" data-bbox="408 2275 2086 2800"><img data-bbox="408 2275 2086 2800"/></div>
<p data-bbox="289 2864 2202 3058">Figure 1: In the iterative development of the Qwen series, data scaling has played a crucial role. Qwen 2.5, which leverages 18 trillion tokens for pre-training, has demonstrated the most advanced capabilities within the Qwen series, especially in terms of domain expertise, underscoring the importance of scale together with mixture in enhancing the model’s capabilities.</p>
</body>
</html>

5. 增强的视频理解能力

Qwen2.5-VL 的视频理解能力得到了全面升级。在时序处理方面，我们引入了动态帧率（FPS）训练和绝对时间编码技术。因此，该模型不仅能够支持小时级超长视频的理解，还可以实现秒级事件定位。它能够准确理解长达数小时的长视频内容、在视频中搜索特定事件，并总结不同时间段的重点内容。这让用户能够快速高效地提取视频中蕴含的关键信息。

示例：视频信息提取 下一步

用户

观看视频，并将论文标题以表格形式列出。

Qwen2.5-VL

以下是列出视频中论文标题的表格：

6. 卓越的计算机与手机 Agent

示例：手机使用 下一步

请帮我在 bookings 应用中预订一张单程票。出发地是重庆江北机场，目的地是北京首都机场，日期为 1 月 28 日

模型更新

与 Qwen2-VL 相比，Qwen2.5-VL 增强了模型对时间和空间尺度的感知，并进一步简化了网络结构以提升模型效率。

• 对时间与图像尺寸的感知

在空间维度上，Qwen2.5-VL 不仅能够动态地将不同尺寸的图像转换为不同长度的 token，还能直接使用图像的实际尺寸比例来表示检测框和点等坐标，而无需进行传统的坐标归一化。这使得模型能够直接学习图像的尺度。在时间维度上，我们引入了动态 FPS（每秒帧数）训练和绝对时间编码，使 mRoPE id 直接与时间速度对齐。这使模型能够通过时间维度 id 的间隔来学习时间的节奏。

• 更简洁高效的视觉编码器

视觉编码器在多模态大模型中扮演着至关重要的角色。我们从零开始训练了原生动态分辨率的 ViT，包括 CLIP、视觉-语言模型对齐以及端到端训练等阶段。为了解决多模态大模型在训练和测试阶段 ViT 负载不均衡的问题，我们引入了窗口注意力（Window Attention）来有效降低 ViT 端的计算负载。在我们的 ViT 设置中，只有四层使用全注意力（Full Attention），其余各层均采用窗口注意力。窗口的最大尺寸为 8x8，小于 8x8 的区域无需填充，而是保留其原始比例，从而确保模型保持原生分辨率。此外，为了简化整体网络结构，我们采用 RMSNorm 和 SwiGLU 结构，使 ViT 架构与 LLM 更加一致。

下一步计划

在不久的将来，我们将进一步增强模型的解题和推理能力，同时引入更多模态。这将使模型更加智能，并推动我们迈向能够处理多种类型输入和任务的一体化全模态模型。