阿里通义千问发布大规模 MoE 模型 Qwen2.5-Max，预训练超 20 万亿 tokens

众所周知，持续扩大数据规模和模型规模能够显著提升模型智能。然而，无论是稠密（Dense）模型还是混合专家（MoE）模型，学术界和工业界在有效扩展超大规模模型方面的经验仍然有限。关于这一扩展过程的许多关键细节，直到最近 DeepSeek V3 发布时才得以披露。与此同时，我们正在开发 Qwen2.5-Max——一个大规模 MoE 模型，其在超过 20 万亿 token 上进行了预训练，并进一步通过精心设计的监督微调（SFT）和基于人类反馈的强化学习（RLHF）方法进行后训练。今天，我们很高兴地分享 Qwen2.5-Max 的性能结果，并宣布其 API 已通过阿里云正式上线。我们也诚邀您在 Qwen Chat 上体验 Qwen2.5-Max！

性能

我们将 Qwen2.5-Max 与领先模型（无论是专有模型还是开放权重模型）一起，在社区高度关注的一系列基准测试上进行了评估。这些基准包括通过大学水平问题测试知识的 MMLU-Pro、评估编程能力的 LiveCodeBench、全面测试通用能力的 LiveBench，以及近似人类偏好的 Arena-Hard。我们的评测结果涵盖基座模型和指令模型（instruct 模型）的性能得分。

我们首先直接比较各指令模型的性能，这些模型可直接服务于聊天、编程等下游应用。我们展示了 Qwen2.5-Max 与领先的最先进模型（包括 DeepSeek V3、GPT-4o 和 Claude-3.5-Sonnet）的性能对比结果。

Qwen2.5-Max 在 Arena-Hard、LiveBench、LiveCodeBench 和 GPQA-Diamond 等基准测试中超越了 DeepSeek V3，同时在 MMLU-Pro 等其他评测中也展现出颇具竞争力的结果。

在比较基座模型时，我们无法访问 GPT-4o 和 Claude-3.5-Sonnet 等专有模型。因此，我们将 Qwen2.5-Max 与领先的开源权重 MoE 模型 DeepSeek V3、最大的开源权重稠密模型 Llama-3.1-405B，以及同样位居开源权重稠密模型前列的 Qwen2.5-72B 进行了对比评测。对比结果如下所示。

我们的基座模型在大多数基准测试中展现出了显著优势，我们乐观地认为，后训练技术的进步将把下一版 Qwen2.5-Max 提升到新的高度。

使用 Qwen2.5-Max

现在，Qwen2.5-Max 已在 Qwen Chat 上线，您可以直接与模型聊天，或体验 artifacts、搜索等功能。

Qwen2.5-Max 的 API（其模型名称为 qwen-max-2025-01-25）现已可用。您可以先注册阿里云账号并开通阿里云 Model Studio 服务，然后前往控制台创建 API 密钥。

由于 Qwen 的 API 与 OpenAI API 兼容，我们可以直接沿用使用 OpenAI API 的常见做法。下面是在 Python 中使用 Qwen2.5-Max 的示例：

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("API_KEY"),
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen-max-2025-01-25",
    messages=[
      {'role': 'system', 'content': 'You are a helpful assistant.'},
      {'role': 'user', 'content': 'Which number is larger, 9.11 or 9.8?'}
    ]
)

print(completion.choices[0].message)

未来工作

数据和模型规模的扩展不仅展示了模型智能的进步，也体现了我们对开创性研究的坚定承诺。我们致力于通过大规模强化学习的创新应用来增强大语言模型的思考和推理能力。这项工作有望使我们的模型超越人类智能，释放探索未知知识与理解领域的潜力。

引用

如果您觉得 Qwen2.5 有帮助，欢迎引用以下文章。

@article{qwen25,
  title={Qwen2.5 technical report},
  author={Qwen Team},
  journal={arXiv preprint arXiv:2412.15115},
  year={2024}
}