阿里通义千问发布 Qwen2.5 系列大语言模型，开源 0.5B 到 72B 共七款
Qwen2.5-LLM: Extending the boundary of LLMs
- 1阿里通义千问发布 Qwen2.5 系列语言模型，开源 0.5B 到 72B 共七款并新增 14B/32B
- 2官方称 Qwen2.5-32B 超上代 Qwen2-72B，72B 底座模型成绩接近 Llama-3-405B
- 3预训练语料从 7 万亿扩至最高 18 万亿 tokens，72B-Instruct 的 MATH 成绩从 69.0 提升到 83.1（官方评测）
- 4多数模型授权 Apache 2.0、支持 128K 上下文、最多生成 8K tokens，3B 和 72B 用 Qwen 自有许可
Qwen2.5 补齐 3B/14B/32B 等中等尺寸开源模型，评测数字逼近闭源和上代旗舰，企业用更小模型承担生产负载的空间变大。
- 影响：中等尺寸开源模型意味着生产部署可选 14B/32B 替代 72B 以降低推理成本；多数模型采用 Apache 2.0 可商用，但 3B 和 72B 使用 Qwen 自有许可，采用前需做合规核查；128K 上下文和 8K 输出让长文档、结构化数据场景可用性扩大。
- 参考：可考虑把新增的 14B/32B 列入自部署模型选型清单，与在用模型跑同套题对比成绩；端侧或移动场景值得试 3B 版本；生产采用前先核对 Qwen License 与 Qwen Research License 的条款。
- 依据：各项评测数字与提升幅度均出自 Qwen 官方博客自评，官方口径暂无独立验证；参数量、许可与上下文长度以官方模型卡为准。
GITHUB HUGGING FACE MODELSCOPE 演示 DISCORD
简介
在这篇博客中，我们将深入探讨我们最新的 Qwen2.5 系列语言模型的细节。我们开发了一系列 decoder-only 稠密模型，其中七个已开源，参数规模从 0.5B 到 72B。我们的研究表明，用户对 10-30B 范围内用于生产环境的模型以及用于移动应用的 3B 模型有浓厚兴趣。为满足这些需求，我们将开源 Qwen2.5-3B、Qwen2.5-14B 和 Qwen2.5-32B。此外，我们很高兴提供更多模型，包括 Qwen-Plus 和 Qwen-Turbo，可通过 Alibaba Cloud Model Studio 的 API 服务使用。
与 Qwen2 系列相比，Qwen2.5 系列有以下升级：
全方位开源：考虑到用户对 10-30B 范围内用于生产环境的模型和 3B 移动端应用模型有浓厚兴趣，Qwen2.5 在继续开源与 Qwen2 相同规模的 0.5/1.5/7/72B 四个模型之外，还新增了 Qwen2.5-14B 和 Qwen2.5-32B 两款中等规模的高性价比模型，以及一款移动端模型 Qwen2.5-3B。 所有模型与同级别开源模型相比都极具竞争力。例如，在我们全面的评估中，Qwen2.5-32B 胜过 Qwen2-72B，Qwen2.5-14B 的表现优于 Qwen2-57B-A14B。
更大规模、更高质量的预训练数据集：预训练数据集的规模从 7 万亿 tokens 扩展到最多 18 万亿 tokens。
知识增强：Qwen2.5 掌握了显著更多的知识。在 MMLU 基准测试上，与 Qwen2-7/72B 相比，Qwen2.5-7/72B 的得分分别从 70.3 提升到 74.2，从 84.2 提升到 86.1。我们观察到，Qwen2.5 在 GPQA/MMLU-Pro/MMLU-redux/ARC-c 基准测试上也有显著提升。
代码能力增强：得益于 Qwen2.5-Coder 的技术突破，Qwen2.5 在编码能力方面有了极大提升。Qwen2.5-72B-Instruct 在 LiveCodeBench (2305-2409)、MultiPL-E 和 MBPP 上分别取得了 55.5、75.1 和 88.2 的分数，超越了取得 32.2、69.2 和 80.2 的 Qwen2-72B-Instruct。
数学能力增强：在融合了 Qwen2-math 的技术之后，Qwen2.5 的数学能力也得到了快速提升。在 MATH 基准测试上，Qwen2.5-7B/72B-Instruct 的得分从 Qwen2-7B/72B-Instruct 的 52.9/69.0 提升至 75.5/83.1。
更符合人类偏好：Qwen2.5 能够生成更加贴近人类偏好的回复。具体而言，与 Qwen2-72B-Instruct 相比，Qwen2.5-72B-Instruct 的 Arena-Hard 分数从 48.1 大幅提升至 81.2，MT-Bench 分数从 9.12 提升至 9.35。
其他核心能力增强：Qwen2.5 在指令遵循、生成长文本（从 1k 提升至超过 8K tokens）、理解结构化数据（例如表格）以及生成结构化输出（尤其是 JSON）方面取得了显著进步。此外，Qwen2.5 模型对系统提示词多样性的适应性普遍更强，提升了聊天机器人的角色扮演实现效果和条件设定能力。
模型卡
这里有一张模型卡，详细列出了 Qwen2.5 LLM 模型的关键参数。本次发布包括七个开源模型，规模从 0.5B 到 72B。大多数模型支持 128K（131,072）tokens 的上下文长度，并可生成多达 8K tokens，从而能够产出长篇文本输出。这些模型大多采用 Apache 2.0 许可证，而 Qwen2.5-3B 和 Qwen2.5-72B 分别受 Qwen Research License 和 Qwen License 约束。
| 模型 | 参数量 | 非嵌入参数量 | 层数 | 注意力头数（KV） | 绑定词嵌入 | 上下文长度 | 生成长度 | 许可证 |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5-0.5B | 0.49B | 0.36B | 24 | 14 / 2 | 是 | 32K | 8K | Apache 2.0 |
| Qwen2.5-1.5B | 1.54B | 1.31B | 28 | 12 / 2 | 是 | 32K | 8K | Apache 2.0 |
| Qwen2.5-3B | 3.09B | 2.77B | 36 | 16 / 2 | 是 | 32K | 8K | Qwen Research |
| Qwen2.5-7B | 7.61B | 6.53B | 28 | 28 / 4 | 否 | 128K | 8K | Apache 2.0 |
| Qwen2.5-14B | 14.7B | 13.1B | 48 | 40 / 8 | 否 | 128K | 8K | Apache 2.0 |
| Qwen2.5-32B | 32.5B | 31.0B | 64 | 40 / 8 | 否 | 128K | 8K | Apache 2.0 |
| Qwen2.5-72B | 72.7B | 70.0B | 80 | 64 / 8 | 否 | 128K | 8K | Qwen |
性能
本节展示了基础语言模型和指令微调模型在各种基准评测中的性能表现，涵盖多种领域和任务。
Qwen2.5 基础语言模型评测
基础模型的评测主要侧重于其在自然语言理解、通用问答、编程、数学、科学知识、推理以及多语言能力方面的表现。
评测数据集包括：
通用任务：MMLU (5-shot)、MMLU-Pro (5-shot)、MMLU-redux (5-shot)、BBH (3-shot)、ARC-C (25-shot)、TruthfulQA (0-shot)、Winogrande (5-shot)、HellaSwag (10-shot)
数学与科学任务：GPQA (5-shot)、Theorem QA (5-shot)、GSM8K (4-shot)、MATH (4-shot)
编程任务：HumanEval (0-shot)、HumanEval+ (0-shot)、MBPP (0-shot)、MBPP+ (0-shot)、MultiPL-E (0-shot)（Python、C++、JAVA、PHP、TypeScript、C#、Bash、JavaScript）
多语言任务：Multi-Exam（M3Exam 5-shot、IndoMMLU 3-shot、ruMMLU 5-shot、mMMLU 5-shot）、Multi-Understanding（BELEBELE 5-shot、XCOPA 5-shot、XWinograd 5-shot、XStoryCloze 0-shot、PAWS-X 5-shot）、Multi-Mathematics（MGSM 8-shot）、Multi-Translation（Flores-101 5-shot）
Qwen2.5-72B 性能
| 数据集 | Llama-3-70B | Mixtral-8x22B | Llama-3-405B | Qwen2-72B | Qwen2.5-72B |
|---|---|---|---|---|---|
| 通用任务 | |||||
| MMLU | 79.5 | 77.8 | 85.2 | 84.2 | 86.1 |
| MMLU-Pro | 52.8 | 51.6 | 61.6 | 55.7 | 58.1 |
| MMLU-redux | 75.0 | 72.9 | - | 80.5 | 83.9 |
| BBH | 81.0 | 78.9 | 85.9 | 82.4 | 86.3 |
| ARC-C | 68.8 | 70.7 | - | 68.9 | 72.4 |
| TruthfulQA | 45.6 | 51.0 | - | 54.8 | 60.4 |
| WindoGrande | 85.3 | 85.0 | 86.7 | 85.1 | 83.9 |
| HellaSwag | 88.0 | 88.7 | - | 87.3 | 87.6 |
| 数学与科学任务 | |||||
| GPQA | 36.3 | 34.3 | - | 37.4 | 45.9 |
| Theoremqa | 32.3 | 35.9 | - | 42.8 | 42.4 |
| MATH | 42.5 | 41.7 | 53.8 | 50.9 | 62.1 |
| MMLU-stem | 73.7 | 71.7 | - | 79.6 | 82.7 |
| GSM8K | 77.6 | 83.7 | 89.0 | 89.0 | 91.5 |
| 编程任务 | |||||
| HumanEval | 48.2 | 46.3 | 61.0 | 64.6 | 59.1 |
| HumanEval+ | 42.1 | 40.2 | - | 56.1 | 51.2 |
| MBPP | 70.4 | 71.7 | 73.0 | 76.9 | 84.7 |
| MBPP+ | 58.4 | 58.1 | - | 63.9 | 69.2 |
| MultiPL-E | 46.3 | 46.7 | - | 59.6 | 60.5 |
| 多语言任务 | |||||
| Multi-Exam | 70.0 | 63.5 | - | 76.6 | 78.7 |
| Multi-Understanding | 79.9 | 77.7 | - | 80.7 | 89.6 |
| Multi-Mathematics | 67.1 | 62.9 | - | 76.0 | 76.7 |
| Multi-Translation | 38.0 | 23.3 | - | 37.8 | 39.0 |
Qwen2.5-72B 基础模型在众多任务中显著超越同类竞争对手。它仅使用五分之一的参数便取得了与 Llama-3-405B 相当的成绩。此外，与其前身 Qwen2-72B 相比，Qwen2.5-72B 在几乎所有基准测试评估中都显示出显著提升，尤其在通用任务、数学和编程挑战方面表现出色。
Qwen2.5-14B/32B 性能
| 数据集 | Qwen1.5-32B | Gemma2-27B | Yi-1.5-34B | Qwen2-57B-A14B | Qwen2.5-14B | Qwen2.5-32B |
|---|---|---|---|---|---|---|
| 通用任务 | ||||||
| MMLU | 74.3 | 75.2 | 77.2 | 76.5 | 79.7 | 83.3 |
| MMLU-pro | 44.1 | 49.1 | 48.3 | 43.0 | 51.2 | 55.1 |
| MMLU-redux | 69.0 | - | 74.1 | 72.4 | 76.6 | 82.0 |
| BBH | 66.8 | 74.9 | 76.4 | 67.0 | 78.2 | 84.5 |
| ARC-C | 63.6 | 71.4 | 65.6 | 64.1 | 67.3 | 70.4 |
| Truthfulqa | 57.4 | 40.1 | 53.9 | 57.7 | 58.4 | 57.8 |
| Winogrande | 81.5 | 59.7 | 84.9 | 79.5 | - | 82.0 |
| Hellaswag | 85.0 | 86.4 | 85.9 | 85.2 | - | 85.2 |
| 数学与科学任务 | ||||||
| GPQA | 30.8 | 34.9 | 37.4 | 34.3 | 32.8 | 48.0 |
| Theoremqa | 28.8 | 35.8 | 40.0 | 33.5 | 43.0 | 44.1 |
| MATH | 36.1 | 42.7 | 41.7 | 43.0 | 55.6 | 57.7 |
| MMLU-stem | 66.5 | 71.0 | 72.6 | 69.8 | 76.4 | 80.9 |
| GSM8K | 78.5 | 81.1 | 81.7 | 80.7 | 90.2 | 92.9 |
| 编程任务 | ||||||
| HumanEval | 43.3 | 54.9 | 46.3 | 53.0 | 56.7 | 58.5 |
| HumanEval+ | 40.2 | 46.3 | 40.2 | 46.3 | 51.2 | 52.4 |
| MBPP | 64.2 | 75.7 | 65.5 | 71.9 | 76.7 | 84.5 |
| MBPP+ | 53.9 | 60.2 | 55.4 | 57.4 | 63.2 | 67.2 |
| MultiPL-E | 38.5 | 48.0 | 39.5 | 49.8 | 53.5 | 59.4 |
| 多语言任务 | ||||||
| Multi-Exam | 61.6 | 65.8 | 58.3 | 65.5 | 70.6 | 75.4 |
| Multi-Understanding | 76.5 | 82.2 | 73.9 | 77.0 | 85.9 | 88.4 |
| Multi-Mathematics | 56.1 | 61.6 | 49.3 | 62.3 | 68.5 | 73.7 |
| Multi-Translation | 33.5 | 38.7 | 30.0 | 34.5 | 36.2 | 37.3 |
Qwen2.5-14B 模型在各类任务中展现出扎实的性能，尤其在 MMLU 和 BBH 等通用任务中表现突出，分别取得 79.7 和 78.2 的分数，超越了更大规模的竞争对手。同时，Qwen2.5-32B 尤其展现出卓越的能力，往往超越相近模型规模的更大模型。值得注意的是，它显著超越了其前身 Qwen1.5-32B，特别是在数学和编程等具有挑战性的领域，在 MATH 中取得 57.7 分，在 MBPP 中取得 84.5 分。
Qwen2.5-7B 性能
| 数据集 | Mistral-7B | Llama3-8B | Gemma2-9B | Qwen2-7B | Qwen2.5-7B |
|---|---|---|---|---|---|
| #非嵌入参数 | 7.0B | 7.0B | 8.2B | 6.5B | 6.5B |
| 通用任务 | |||||
| MMLU | 64.2 | 66.6 | 71.3 | 70.3 | 74.2 |
| MMLU-pro | 30.9 | 35.4 | 44.7 | 40.1 | 45.0 |
| MMLU-redux | 58.1 | 61.6 | 67.9 | 68.1 | 71.1 |
| BBH | 56.1 | 57.7 | 68.2 | 62.3 | 70.4 |
| ARC-C | 60.0 | 59.3 | 68.2 | 60.6 | 63.7 |
| Trurhfulqa | 42.2 | 44.0 | 45.3 | 54.2 | 56.4 |
| Winogrande | 78.4 | 77.4 | 79.5 | 77.0 | 75.9 |
| Hellaswag | 83.3 | 82.1 | 81.9 | 80.7 | 80.2 |
| 数学与科学任务 | |||||
| GPQA | 24.7 | 25.8 | 32.8 | 30.8 | 36.4 |
| Theoremqa | 19.2 | 22.1 | 28.9 | 29.6 | 36.0 |
| MATH | 10.2 | 20.5 | 37.7 | 43.5 | 49.8 |
| MMLU-stem | 50.1 | 55.3 | 65.1 | 64.2 | 72.3 |
| GSM8K | 36.2 | 55.3 | 70.7 | 80.2 | 85.4 |
| 编程任务 | |||||
| HumanEval | 29.3 | 33.5 | 37.8 | 51.2 | 57.9 |
| HumanEval+ | 24.4 | 29.3 | 30.5 | 43.3 | 50.6 |
| MBPP | 51.1 | 53.9 | 62.2 | 64.2 | 74.9 |
| MBPP+ | 40.9 | 44.4 | 50.6 | 51.9 | 62.9 |
| MultiPL-E | 29.4 | 22.6 | 34.9 | 41.0 | 50.3 |
| 多语言任务 | |||||
| Multi-Exam | 47.1 | 52.3 | 61.2 | 59.2 | 59.4 |
| Multi-Understanding | 63.3 | 68.6 | 78.3 | 72.0 | 79.3 |
| Multi-Mathematics | 26.3 | 36.3 | 53.0 | 57.5 | 57.8 |
| Multi-Translation | 23.3 | 31.9 | 36.5 | 31.5 | 32.4 |
尽管非嵌入参数更少，Qwen2.5-7B 模型在众多基准测试中仍超越了其前身和同类模型。它在各类任务中展现出显著提升，在 MMLU 等通用基准测试中取得 74.2 分，在 MATH 等数学挑战中取得 49.8 分，在 HumanEval 等编程任务中取得 57.9 分。
Qwen2.5-0.5B/1.5B/3B 性能
| 数据集 | Qwen2-0.5B | Qwen2.5-0.5B | Qwen2-1.5B | Qwen2.5-1.5B | Gemma2-2.6B | Qwen2.5-3B |
|---|---|---|---|---|---|---|
| 通用任务 | ||||||
| MMLU | 44.3 | 47.5 | 55.9 | 60.9 | 52.2 | 65.6 |
| MMLU-pro | 14.7 | 15.7 | 21.6 | 28.5 | 23.0 | 34.6 |
| MMLU-redux | 40.7 | 45.1 | 51.8 | 58.5 | 50.9 | 63.7 |
| BBH | 18.2 | 20.3 | 36.5 | 45.1 | 41.9 | 56.3 |
| ARC-C | 31.0 | 35.6 | 43.7 | 54.7 | 55.7 | 56.5 |
| Trurhfulqa | 39.7 | 40.2 | 45.9 | 46.6 | 36.2 | 48.9 |
| Winogrande | 56.9 | 56.3 | 65.0 | 65.0 | 71.5 | 71.1 |
| Hellaswag | 49.1 | 52.1 | 67.0 | 67.9 | 74.6 | 74.6 |
| 数学与科学任务 | ||||||
| GPQA | 29.8 | 24.8 | 20.7 | 24.2 | 25.3 | 26.3 |
| Theoremqa | 9.6 | 16.0 | 14.8 | 22.1 | 15.9 | 27.4 |
| MATH | 11.2 | 19.5 | 21.6 | 35.0 | 18.3 | 42.6 |
| MMLU-stem | 27.5 | 39.8 | 42.7 | 54.8 | 45.8 | 62.5 |
| GSM8K | 36.4 | 41.6 | 46.9 | 68.5 | 30.3 | 79.1 |
| 编程任务 | ||||||
| HumanEval | 22.6 | 30.5 | 34.8 | 37.2 | 19.5 | 42.1 |
| HumanEval+ | 18.9 | 26.8 | 29.9 | 32.9 | 15.9 | 36.0 |
| MBPP | 33.1 | 39.3 | 46.9 | 60.2 | 42.1 | 57.1 |
| MBPP+ | 27.6 | 33.8 | 37.6 | 49.6 | 33.6 | 49.4 |
| MultiPL-E | 16.3 | 18.9 | 27.9 | 33.1 | 17.6 | 41.2 |
| 多语言任务 | ||||||
| Multi-Exam | 29.4 | 30.8 | 43.1 | 47.9 | 38.1 | 54.6 |
| Multi-Understanding | 40.4 | 41.0 | 50.7 | 65.1 | 46.8 | 76.6 |
| Multi-Mathematics | 7.8 | 13.5 | 21.3 | 37.5 | 18.2 | 48.9 |
| Multi-Translation | 14.1 | 15.3 | 23.8 | 25.0 | 26.9 | 29.3 |
对于端侧模型，Qwen2.5-0.5B、1.5B 和 3B 在几乎所有基准测试中继续保持强劲表现。值得注意的是，Qwen2.5-0.5B 模型在多项数学和编程任务上超越了 Gemma2-2.6B。
指令微调模型评估
指令微调模型的评估主要关注模型在自然语言理解、通用问答、推理、编程、数学、指令遵循、人类对齐等方面的表现。
评估所用的数据集包括：
通用任务：MMLU-Pro、MMLU-redux
数学与科学任务：GPQA、GSM8K、MATH
编程任务：HumanEval、MBPP、MultiPL-E、LiveCodeBench 2305-2409、LiveBench 0831
指令与对齐任务：IFeval strict-prompt、Arena-Hard、AlignBench v1.1、MTbench
Qwen2.5-72B-Instruct 性能
| 数据集 | Mistral-Large2 Instruct | Llama-3.1-70B-Instruct | Llama-3.1-405B-Instruct | Qwen2-72B-Instruct | Qwen2.5-72B-Instruct |
|---|---|---|---|---|---|
| MMLU-Pro | 69.4 | 66.4 | 73.3 | 64.4 | 71.1 |
| MMLU-redux | 83.0 | 83.0 | 86.2 | 81.6 | 86.8 |
| GPQA | 52.0 | 46.7 | 51.1 | 42.4 | 49.0 |
| MATH | 69.9 | 68.0 | 73.8 | 69.0 | 83.1 |
| GSM8K | 92.7 | 95.1 | 96.8 | 93.2 | 95.8 |
| HumanEval | 92.1 | 80.5 | 89.0 | 86.0 | 86.6 |
| MBPP | 80.0 | 84.2 | 84.5 | 80.2 | 88.2 |
| MultiPL-E | 76.9 | 68.2 | 73.5 | 69.2 | 75.1 |
| LiveCodeBench 2305-2409 | 42.2 | 32.1 | 41.6 | 32.2 | 55.5 |
| LiveBench 0831 | 48.5 | 46.6 | 53.2 | 41.5 | 52.3 |
| IFeval strict-prompt | 64.1 | 83.6 | 86.0 | 77.6 | 84.1 |
| Arena-Hard | 73.1 | 55.7 | 69.3 | 48.1 | 81.2 |
| AlignBench v1.1 | 7.69 | 5.94 | 5.95 | 8.15 | 8.16 |
| MTbench | 8.61 | 8.79 | 9.08 | 9.12 | 9.35 |
Qwen2.5-72B-Instruct 模型表现出卓越的性能，甚至在多项关键任务上超越了体量更大的 Llama-3.1-405B。Qwen2.5-72B-Instruct 在数学（MATH：83.1）、编程（LiveCodeBench：55.5）和聊天（Arena-Hard：81.2）方面表现优异。与其基础模型 Qwen2.5-72B 以及前代模型 Qwen2-72B-Instruct 相比，Qwen2.5-72B-Instruct 在所有任务上都展现出全面提升。
Qwen-Turbo 与 Qwen2.5-14B-Instruct 与 Qwen2.5-32B-Instruct 性能
| 数据集 | Qwen2-57B-A14B-Instruct | Gemma2-27B-IT | GPT4o-mini | Qwen-Turbo | Qwen2.5-14B-Instruct | Qwen2.5-32B-Instruct |
|---|---|---|---|---|---|---|
| MMLU-Pro | 52.8 | 55.5 | 63.1 | 64.8 | 63.7 | 69.0 |
| MMLU-redux | 72.6 | 75.7 | 81.5 | 80.4 | 80.0 | 83.9 |
| GPQA | 34.3 | 38.4 | 40.2 | 44.4 | 45.5 | 49.5 |
| MATH | 49.1 | 54.4 | 70.2 | 81.0 | 80.0 | 83.1 |
| GSM8K | 85.3 | 90.4 | 93.2 | 93.6 | 94.8 | 95.9 |
| HumanEval | 79.9 | 78.7 | 88.4 | 86.6 | 83.5 | 88.4 |
| MBPP | 70.9 | 81.0 | 85.7 | 80.2 | 82.0 | 84.0 |
| MultiPL-E | 66.4 | 67.4 | 75.0 | 73.0 | 72.8 | 75.4 |
| LiveCodeBench 2305-2409 | 22.5 | - | 40.7 | 43.1 | 42.6 | 51.2 |
| LiveBench 0831 | 31.1 | 39.6 | 43.3 | 41.6 | 44.4 | 50.7 |
| IFeval strict-prompt | 59.9 | 77.1 | 80.4 | 74.9 | 81.0 | 79.5 |
| Arena-Hard | 17.8 | 57.5 | 74.9 | 68.4 | 68.3 | 74.5 |
| AlignBench v1.1 | 7.02 | 7.22 | 7.81 | 7.99 | 7.94 | 7.93 |
| MTbench | 8.55 | 9.10 | - | 8.86 | 8.88 | 9.20 |
Qwen2.5-32B-Instruct 模型在大多数任务上表现出优于同规模其他模型的性能。与 GPT-4o-mini 相比，我们的开源模型 Qwen2.5-14B-Instruct 以及 API 模型 Qwen-Turbo 在所有基准测试中也取得了有竞争力的结果。
Qwen2.5-7B-Instruct 性能
| 数据集 | Gemma2-9b-IT | Llama3.1-8B-Instruct | Qwen2-7B-Instruct | Qwen2.5-7B-Instruct |
|---|---|---|---|---|
| MMLU-Pro | 52.1 | 48.3 | 44.1 | 56.3 |
| MMLU-redux | 72.8 | 67.2 | 67.3 | 75.4 |
| GPQA | 32.8 | 32.8 | 34.3 | 36.4 |
| MATH | 44.3 | 51.9 | 52.9 | 75.5 |
| GSM8K | 76.7 | 84.5 | 85.7 | 91.6 |
| HumanEval | 68.9 | 72.6 | 79.9 | 84.8 |
| MBPP | 74.9 | 69.6 | 67.2 | 79.2 |
| MultiPL-E | 53.4 | 50.7 | 59.1 | 70.4 |
| LiveCodeBench 2305-2409 | 18.9 | 8.3 | 23.9 | 28.7 |
| LiveBench 0831 | 30.6 | 26.7 | 29.2 | 35.9 |
| IFeval strict-prompt | 70.1 | 75.9 | 54.7 | 71.2 |
| Arena-Hard | 41.6 | 27.8 | 25.0 | 52.0 |
| AlignBench v1.1 | 7.05 | 4.75 | 7.13 | 7.33 |
| MTbench | 8.49 | 8.23 | 8.26 | 8.75 |
Qwen2.5-7B-Instruct 模型在除 IFeval 之外的所有任务上都显著优于其竞争对手 Gemma2-9b-IT 和 Llama3.1-8B-Instruct。值得注意的是，Qwen2.5-7B-Instruct 在数学（MATH：75.5）和编程（HumanEval：84.8）方面展现出明显优势。
Qwen2.5-3B-Instruct 性能
| 数据集 | Gemma2-2B-IT | Phi3.5-mini-Instruct | MiniCPM3-4B | Qwen2.5-3B-Instruct |
|---|---|---|---|---|
| 非嵌入参数量 | 2.0B | 3.6B | 4.0B | 2.8B |
| MMLU-Pro | 26.7 | 47.5 | 43.0 | 43.7 |
| MMLU-redux | 51.9 | 67.7 | 59.9 | 64.4 |
| GPQA | 29.3 | 27.2 | 31.3 | 30.3 |
| MATH | 26.6 | 48.5 | 46.6 | 65.9 |
| GSM8K | 63.2 | 86.2 | 81.1 | 86.7 |
| HumanEval | 68.9 | 72.6 | 74.4 | 74.4 |
| MBPP | 74.9 | 63.2 | 72.5 | 72.7 |
| MultiPL-E | 30.5 | 47.2 | 49.1 | 60.2 |
| LiveCodeBench 2305-2409 | 5.8 | 15.8 | 23.8 | 19.9 |
| LiveBench 0831 | 20.1 | 27.4 | 27.6 | 26.8 |
| IFeval strict-prompt | 51.0 | 52.1 | 68.4 | 58.2 |
在端侧指令模型方面，Qwen2.5-3B-Instruct 模型的参数量少于 Phi3.5-mini-Instruct 和 MiniCPM3-4B 两个模型。尽管如此，它在数学和编程任务上超越了这两个模型，同时在语言理解方面也取得了有竞争力的结果。
Qwen2.5-0.5B/1.5B-Instruct 性能
| 数据集 | Qwen2-0.5B-Instruct | Qwen2.5-0.5B-Instruct | Qwen2-1.5B-Instruct | Qwen2.5-1.5B-Instruct |
|---|---|---|---|---|
| MMLU-Pro | 14.4 | 15.0 | 22.9 | 32.4 |
| MMLU-redux | 12.9 | 24.1 | 41.2 | 50.7 |
| GPQA | 23.7 | 29.8 | 21.2 | 29.8 |
| MATH | 13.9 | 34.4 | 25.3 | 55.2 |
| GSM8K | 40.1 | 49.6 | 61.6 | 73.2 |
| HumanEval | 31.1 | 35.4 | 42.1 | 61.6 |
| MBPP | 39.7 | 49.6 | 44.2 | 63.2 |
| MultiPL-E | 20.8 | 28.5 | 38.5 | 50.4 |
| LiveCodeBench 2305-2409 | 1.6 | 5.1 | 4.5 | 14.8 |
| LiveBench 0831 | 7.4 | 12.6 | 12.4 | 18.8 |
| IFeval strict-prompt | 14.6 | 27.9 | 29.0 | 42.5 |
Qwen2.5-1.5B-Instruct 和 Qwen2.5-0.5B-Instruct 相比其前代版本有了大幅性能提升，非常适合资源高度受限环境中的端侧应用。
多语言性能
为评估指令微调模型的多语言性能，我们收集并扩展了以下基准测试：
- IFEval（多语言）：我们对 IFEval（英文版）中的示例进行翻译，在剔除含有特定语言内容的示例（例如“以字母 A 开头”）后，构建了多语言版 IFEval 示例。我们从阿拉伯语 (ar)、西班牙语 (es)、法语 (fr)、印尼语 (in)、日语 (ja)、韩语 (ko)、葡萄牙语 (pt) 和越南语 (vi) 这几种语言中各收集了 100 个示例。所有示例均由付费志愿者进行检查，并在必要时进行后期编辑。
- 知识：我们使用 5 个类 MMLU 的基准（多选题）来检验 Qwen2.5 系列模型在多语言方面的知识运用能力，包括 AMMLU（阿拉伯语）、JMMLU（日语）、KMMLU（韩语）、IndoMMLU（印尼语）和 TurkishMMLU（土耳其语）。此外，我们还展示了翻译版 MMLU（即 okapi_MMLU，从英语翻译为多种语言）上的成绩。
- MGSM8K（扩展版）：除了原始 MGSM8K 基准中的示例外，我们还将语言支持扩展到阿拉伯语 (ar)、韩语 (ko)、葡萄牙语 (pt) 和越南语 (vi)。我们将 250 个示例（与参与 MGSM8K 的其他语言相同）翻译成了这 4 种语言。所有示例同样由付费志愿者进行检查，并在必要时进行后期编辑。
- 文化细微差异：我们还使用 BLEnD——一个旨在检验大语言模型（LLM）文化细微差异的基准——来检验 Qwen2.5 系列的大语言模型。
| 数据集 | Qwen2-72B-Instruct | Llama3.1-70B-Instruct | Qwen2.5-32B-Instruct | Mistral-Large-Instruct-2407 (123B) | GPT4o-mini | Qwen2.5-72B-Instruct |
|---|---|---|---|---|---|---|
| 指令遵循 | ||||||
| IFEval（多语言） | 79.69 | 80.47 | 82.68 | 82.69 | 85.03 | 86.98 |
| 知识 | ||||||
| AMMLU（阿拉伯语） | 68.85 | 70.08 | 70.44 | 69.24 | 69.73 | 72.44 |
| JMMLU（日语） | 77.37 | 73.89 | 76.55 | 75.77 | 73.74 | 80.56 |
| KMMLU（韩语） | 57.04 | 53.23 | 60.75 | 56.42 | 56.77 | 61.96 |
| IndoMMLU（印尼语） | 66.31 | 67.50 | 66.42 | 63.21 | 67.75 | 69.25 |
| TurkishMMLU（土耳其语） | 69.22 | 66.89 | 72.41 | 64.78 | 71.19 | 76.12 |
| okapi MMLU（翻译版） | 77.84 | 76.49 | 77.16 | 78.37 | 73.44 | 79.97 |
| 数学推理 | ||||||
| MGSM8K（扩展版） | 82.72 | 73.31 | 87.15 | 89.01 | 87.36 | 88.16 |
| 文化细微差异 | ||||||
| BLEnD | 25.90 | 30.49 | 27.88 | 33.47 | 35.91 | 32.48 |
| 数据集 | Qwen2-7B-Instruct | Llama3.1-8B-Instruct | Qwen2.5-7B-Instruct | Gemma-2-9B-Instruct | Mistral-Nemo-Instruct-2407 (12B) | Qwen2.5-14B-Instruct |
|---|---|---|---|---|---|---|
| 指令遵循 | ||||||
| IFEval（多语言） | 51.43 | 60.68 | 74.87 | 77.47 | 64.59 | 77.08 |
| 知识 | ||||||
| AMMLU（阿拉伯语） | 54.87 | 54.28 | 59.78 | 60.26 | 53.92 | 66.81 |
| JMMLU（日语） | 57.71 | 53.26 | 61.88 | 64.59 | 55.17 | 72.78 |
| KMMLU（韩语） | 43.96 | 42.28 | 46.59 | 46.24 | 42.22 | 59.71 |
| IndoMMLU（印尼语） | 54.05 | 53.92 | 56.42 | 61.73 | 50.76 | 65.09 |
| TurkishMMLU（土耳其语） | 49.27 | 45.61 | 54.28 | 55.44 | 34.44 | 66.85 |
| okapi MMLU（翻译版） | 60.47 | 55.18 | 66.98 | 46.72 | 59.65 | 72.12 |
| 数学推理 | ||||||
| MGSM8K（扩展版） | 56.13 | 66.05 | 66.11 | 78.37 | 54.75 | 82.27 |
| 文化细微差异 | ||||||
| BLEnD | 22.49 | 19.47 | 23.66 | 28.31 | 26.61 | 26.99 |
示例案例
在这里我们提供了若干示例，以展示 Qwen2.5 的新增或增强的能力，包括生成 JSON 输出、生成长文本以及理解结构化数据。
示例：生成 JSON 输出 下一个
JSON 输出
来源：通义千问 Qwen：Blog · qwenlm.github.io