通义千问发布并开源 Qwen2 系列模型，覆盖 0.5B 至 72B 五种规模

GITHUB HUGGING FACE MODELSCOPE 演示 DISCORD

简介

经过数月的努力，我们很高兴地宣布从 Qwen1.5 到 Qwen2 的演进。这一次，我们为您带来：

• 5 种规模的预训练和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B；
• 在英语和中文之外的 27 种额外语言的数据上进行了训练；
• 在大量基准测试评估中取得最先进的性能；
• 在编程和数学方面的性能显著提升；
• Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 支持将上下文长度扩展至 128K tokens。

我们已在 Hugging Face 和 ModelScope 上向大家开源了这些模型，期待听到大家的反馈！

模型信息

Qwen2 系列包含 5 种规模的基础和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B、Qwen2-72B。我们在下表中展示了这些模型的关键信息：

具体而言，在之前的 Qwen1.5 中，只有 Qwen1.5-32B 和 Qwen1.5-110B 采用了分组查询注意力（GQA）。这一次，我们对所有规模的模型都应用了 GQA，从而在模型推理中享受更快的速度和更少的内存占用。对于小模型，我们更倾向于使用绑定词嵌入，因为大型稀疏词嵌入占了模型总参数的很大比例。

在上下文长度方面，所有基础语言模型都在上下文长度为 32K tokens 的数据上进行了预训练，我们在 PPL 评估中观察到令人满意的外推能力，最高可达 128K。 然而，对于指令微调模型，我们不满足于仅进行 PPL 评估；我们需要模型能够正确理解长上下文并完成任务。 在表中，我们列出了指令微调模型的上下文长度能力，这是通过 大海捞针 任务的评估得出的。值得注意的是，在结合 YARN 增强后，Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 模型都展现出处理长达 128K tokens 上下文长度的出色能力。

我们在英语和中文之外投入了大量精力，以增加涵盖多种语言的预训练和指令微调数据集的数量和质量，从而增强其多语言能力。尽管大型语言模型具有泛化到其他语言的固有能力，我们明确强调了训练中额外纳入的 27 种语言：

此外，我们投入了大量精力来解决代码切换（code-switching）问题，这是多语言评测中的常见现象。因此，我们的模型在处理这一现象方面的能力显著提升。使用通常会在各语言间引发代码切换的提示词进行的评测证实，相关问题已大幅减少。

性能

对比评估显示，大规模模型（70B+ 参数）相较于 Qwen1.5 在性能上有显著提升。此处我们的评估聚焦于大尺寸模型 Qwen2-72B。 在基础语言模型方面，我们对 Qwen2-72B 和最先进的开源模型进行了多种能力的评估，包括自然语言理解、知识获取、编程能力、数学技能和多语言能力。 得益于精心策划的数据集和优化的训练方法，Qwen2-72B 相较于 Llama-3-70B 等领先模型展现出更优越的性能。值得注意的是，尽管参数量更少，它的性能仍超越了其前代模型 Qwen1.5-110B。

经过大规模预训练后，我们进行后训练以进一步提升 Qwen 的智能水平，使其更接近人类。这一过程进一步提升了模型在编程、数学、推理、指令遵循、多语言理解等方面的能力。此外，它还使模型的输出与人类价值观保持一致，确保其有益、诚实且无害。我们的后训练阶段遵循以最少人工标注实现可扩展训练的原则。具体而言，我们研究如何通过各种自动对齐策略获得高质量、可靠、多样且有创造性的示范数据和偏好数据，例如用于数学的拒绝采样、用于编程和指令遵循的执行反馈、用于创意写作的回译、用于角色扮演的可扩展监督等。在训练方面，我们采用监督微调、奖励模型训练和在线 DPO 训练相结合的方法。我们还采用了一种新颖的在线合并优化器来最小化对齐税。这些共同努力显著提升了我们模型的能力和智能水平，如下表所示。

我们在 16 个不同领域的基准测试上对 Qwen2-72B-Instruct 进行了全面评估。Qwen2-72B-Instruct 在获得更强能力与人类价值观良好对齐之间取得了平衡。具体而言，Qwen2-72B-Instruct 在所有基准测试上都显著超越了 Qwen1.5-72B-Chat，与 Llama-3-70B-Instruct 相比也达到了具有竞争力的性能。¹

在较小模型方面，我们的 Qwen2 模型也优于同等甚至更大规模的 SOTA 模型。与最近发布的 SOTA 模型相比，Qwen2-7B-Instruct 仍然可以在各项基准测试中展现出优势，特别是在编程和中文相关指标上表现尤为出色。¹

亮点

编程 & 数学

我们一直致力于提升 Qwen 的高阶能力，尤其是在编程和数学领域。在编程方面，我们成功整合了 CodeQwen1.5 的代码训练经验与数据，使 Qwen2-72B-Instruct 在多种编程语言上的表现得到显著提升。在数学方面，通过利用海量且高质量的数据集，Qwen2-72B-Instruct 在解决数学问题方面展现出更强的能力。

长上下文理解

在 Qwen2 中，所有指令微调模型均在 32k 长度的上下文上进行训练，并借助 YARN 或 Dual Chunk Attention 等技术外推至更长的上下文长度。

下图展示了我们在 大海捞针（Needle in a Haystack） 测试中的结果。值得注意的是，Qwen2-72B-Instruct 能够在 128k 上下文内完美处理信息提取任务。加上其本身出色的性能，当资源充足时，它是处理长文本任务的首选。

此外，值得一提的是该系列中其他模型的出色能力：Qwen2-7B-Instruct 几乎可以完美处理长达 128k 的上下文，Qwen2-57B-A14B-Instruct 能处理多达 64k 的上下文，而系列中两个更小的模型则支持 32k 的上下文。

除长上下文模型外，我们还开源了一套 agent 解决方案，可高效处理包含多达 100 万 token 的文档。更多详情请参阅 我们针对这一主题的专门博客文章。

安全与责任

下表展示了大模型针对四大类多语言不安全查询（非法活动、欺诈、色情、隐私暴力）所生成的有害回复比例。测试数据源自 Jailbreak，并被翻译成多种语言进行评估。我们发现 Llama-3 无法有效处理多语言提示词，因此未将其纳入对比。通过显著性检验（P_value），我们发现 Qwen2-72B-Instruct 模型在安全性方面与 GPT-4 表现相当，并显著优于 Mistral-8x22B 模型。

使用 Qwen2 进行开发

现在所有模型均已在 Hugging Face 和 ModelScope 上发布。欢迎访问模型页面了解详细用法，并进一步了解每个模型的相关信息，包括其特性、性能等。

长期以来，许多朋友一直在支持 Qwen 的发展，包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化（AutoGPTQ、AutoAWQ、Neural Compressor）、部署（vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI）、API 平台（Together、Fireworks、OpenRouter）、本地运行（MLX、Llama.cpp、Ollama、LM Studio）、Agent 与 RAG 框架（LlamaIndex、CrewAI、OpenDevin）、评测（LMSys、OpenCompass、Open LLM Leaderboard）、模型训练（Dolphin、Openbuddy）等等。关于如何在第三方框架中使用 Qwen2，请参考各自的文档以及我们的官方文档。

还有许多团队和个人虽未被提及，但也为 Qwen 做出了贡献。我们衷心感谢他们的支持，并希望我们的合作能够推动开源 AI 社区的研究与发展。

许可证

这一次，我们对不同模型采用了不同的许可证。Qwen2-72B 及其指令微调模型仍沿用原有的 Qianwen 许可证，而其他所有模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B 和 Qwen2-57B-A14B，均转而采用 Apache 2.0！我们相信，模型对社区开放程度的提升将加速 Qwen2 在全球范围内的应用与商业化使用。

Qwen2 的下一步计划？

我们正在训练更大的 Qwen2 模型，以结合近期的数据扩展进一步探索模型规模扩展。此外，我们将 Qwen2 语言模型扩展至多模态，使其能够同时理解视觉和音频信息。在不久的将来，我们将继续开源新模型，加速开源 AI 的发展。敬请期待！

引用

如果您觉得我们的工作对您有帮助，欢迎引用我们的工作！

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}

附录

基础语言模型评测

基础模型的评测主要关注模型在自然语言理解、通用问答、编程、数学、科学知识、推理、多语言能力等方面的表现。

用于评测的数据集包括：

英文任务：MMLU (5-shot)、MMLU-Pro (5-shot)、GPQA (5shot)、Theorem QA (5-shot)、BBH (3-shot)、HellaSwag (10-shot)、Winogrande (5-shot)、TruthfulQA (0-shot)、ARC-C (25-shot)

编程任务：EvalPlus (0-shot) (HumanEval, MBPP, HumanEval+, MBPP+)、MultiPL-E (0-shot) (Python, C++, JAVA, PHP, TypeScript, C#, Bash, JavaScript)

数学任务：GSM8K (4-shot)、MATH (4-shot)

中文任务：C-Eval(5-shot)、CMMLU (5-shot)

多语言任务：Multi-Exam (M3Exam 5-shot、IndoMMLU 3-shot、ruMMLU 5-shot、mMMLU 5-shot)、Multi-Understanding (BELEBELE 5-shot、XCOPA 5-shot、XWinograd 5-shot、XStoryCloze 0-shot、PAWS-X 5-shot)、Multi-Mathematics (MGSM 8-shot)、Multi-Translation (Flores-101 5-shot)

Qwen2-72B 性能

Qwen2-57B-A14B

Qwen2-7B

Qwen2-0.5B & Qwen2-1.5B

指令微调模型评估¹

Qwen2-72B-Instruct

Qwen2-57B-A14B-Instruct

Qwen2-7B-Instruct

Qwen2-0.5B-Instruct & Qwen2-1.5B-Instruct

指令微调模型的多语言能力

我们在多个跨语言公开基准上以及通过人工评估，将 Qwen2 指令微调模型与其他近期大语言模型进行比较。在基准测试方面，我们展示了在 2 个评估数据集上的结果：

• 来自 Okapi 的 M-MMLU：多语言常识评估（我们在 ar、de、es、fr、it、nl、ru、uk、vi、zh 上使用一个子集进行评估）
• MGSM：针对 de、en、es、fr、ja、ru、th、zh 和 bn 等语言的数学评估

结果在各语言上取平均后，按每个基准测试展示如下：

在人工评估中，我们使用内部评估集将 Qwen2-72B-Instruct 与 GPT3.5、GPT4 和 Claude-3-Opus 进行比较，评估集涵盖 ar、es、fr、ko、th、vi、pt、id、ja 和 ru 共 10 种语言（分数范围为 1~5）：

按任务类型分组，结果展示如下：

这些结果表明 Qwen2 指令微调模型具有强大的多语言能力。

1. 2024-07-16 更新：指令微调模型的结果可能与技术报告中给出的结果有所不同；如有不一致之处，应以技术报告中记录的结果为准。 ↩︎ ↩︎ ↩︎