通义千问发布 Qwen2.5-Turbo，上下文长度扩展至 1M token

API 文档（中文） HuggingFace 演示 ModelScope 演示

简介

Qwen2.5 发布后，我们听到了社区对处理更长上下文的需求。近几个月来，我们对超长上下文的模型能力和推理性能进行了诸多优化。今天，我们很高兴地推出全新的 Qwen2.5-Turbo 版本，其特性包括：

更长的上下文支持：我们将模型的上下文长度从 128k 扩展到了 1M，约等于 100 万英文单词或 150 万汉字，相当于 10 部完整长篇小说、150 小时的语音转录文本或 3 万行代码。模型在 1M 长度的 Passkey Retrieval 任务中达到了 100% 的准确率，在长文本评测基准 RULER 上取得了 93.1 分，超过 GPT-4 的 91.6 和 GLM4-9B-1M 的 89.9。此外，模型在短序列能力上也保持着很强的竞争力，与 GPT-4o-mini 相当。
更快的推理速度：利用稀疏注意力机制，我们成功将处理 1M token 上下文的首 token 响应时间从 4.9 分钟缩短至 68 秒，实现了 4.3 倍的加速。
更低的成本：价格保持 ¥0.3 / 1M tokens 不变。在相同成本下，Qwen2.5-Turbo 可以处理 GPT-4o-mini 3.6 倍数量的 token。

现在，您可以通过阿里云百炼（Model Studio）[中文]的 API 服务使用它，也可以通过 HuggingFace 演示或 ModelScope 演示体验。

演示

我们准备了一些演示，以展示 Qwen2.5-Turbo 能带来的新用途，涵盖长篇小说的深度理解、仓库级代码助手以及多篇论文阅读。

示例：理解长篇小说下一个

用户

[上传 The Three-Body Problem 的三部中文小说，共包含 690k token。]

请用英文总结这三部小说的情节

Qwen2.5-Turbo

您提到的“Earth's Past”系列的三部小说相互关联，构成了一部深入探讨地球与名为三体人的外星文明之间复杂互动的三部曲。

第一部小说：“Earth's Past” 在第一部小说中，故事聚焦于中国军方发起的一项名为“红岸”的绝密项目的发展。主角叶文洁是一名科学家，她发现三体人已经开始聆听宇宙。她的行动，尤其是她决定回应三体人，极大地改变了人类历史的进程。她设置了一个强大的信号，以太阳作为放大器发送给三体人。这一行动标志着一个新时代的开始，人类面临着重大的生存威胁。

第二部：《黑暗森林》 第二部小说题为《黑暗森林》，深入探讨了“黑暗森林理论”的概念。根据这一理论，宇宙是一个广阔的战场，各文明必须保持沉默，以避免被发现并进而遭到毁灭。三体人和人类展开了一场复杂的战略博弈，三体人部署了被称为“水滴”的先进武器。这些水滴能够通过破坏行星的生态系统来摧毁整颗行星。与此同时，人类制定了自己的战略，包括“面壁计划”（面壁计划），即由四个人在不向外界透露其意图的情况下，制定对抗三体人威胁的计划。故事围绕其中一位面壁者罗辑展开，讲述他在执行任务过程中与任务所涉伦理问题的斗争。

第三部：《死神永生》 在《死神永生》中，罗辑成为黑暗森林理论的终极守护者。他掌握着人类与三体文明存亡的关键。然而，作为执剑人（执剑人）的身份给他带来了巨大的个人挣扎和心理痛苦。随着罗辑担任执剑人的时间接近尾声，他必须对人类的未来做出一个关键决定。与此同时，三体人仍在继续殖民和同化其他世界。这部小说探讨了这一决定带来的后果及其对宇宙的更广泛影响。小说还引入了一个新元素：人类制造微型黑洞（黑域），这可能将他们与宇宙的其他部分隔绝开来。然而，当其中六个微型黑洞开始朝地球移动并加速时，这一策略的有效性受到了质疑。整个三部曲探讨了生存、技术进步以及人类面对外星威胁时所陷入的伦理困境等主题。每一部小说都在前一部的基础上展开，逐步揭示两个文明之间以及它们所栖居的宇宙之间错综复杂的关系。

如何使用 API

最新的 Qwen2.5-Turbo 支持 1M token，其使用方式与标准 Qwen API 相同，并兼容 OpenAI API。下面是一个简单的 Python 调用示例（注意：您需要将环境变量 YOUR_API_KEY 设置为您的 API Key。更多详情，请访问 Alibaba Cloud Model Studio 快速入门 [中文]）：

import os

from openai import OpenAI

# Input a long text file
with open("example.txt", "r", encoding="utf-8") as f:
    text = f.read()
user_input = text + "\n\nSummarize the above text."

client = OpenAI(
    api_key=os.getenv("YOUR_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen-turbo-latest",
    messages=[
      {'role': 'system', 'content': 'You are a helpful assistant.'},
      {'role': 'user', 'content': user_input},
    ],
)

print(completion.choices[0].message)

模型性能

在本节中，我们通过各种基准测试以及推理速度的提升来评估 Qwen2.5-Turbo 的性能。

Passkey 检索

我们首先在 1M token 的 Passkey 检索任务上进行了实验。结果表明，Qwen2.5-Turbo 能够完美捕捉 1M token 无关文本中所有隐藏的数字，展示了该模型在超长上下文中捕捉细节信息的能力。

更复杂的长文本任务

我们选取了若干长文本理解数据集来测试模型，包括：

RULER：一个基于“大海捞针”扩展而来的基准测试，任务包括在无关上下文中查找多个“针”、回答多个问题，或找出上下文中出现频率最高或最低的词。最大上下文长度为 128K。
LV-Eval：一项需要同时理解众多证据片段的基准测试。我们调整了原始版本 LV-Eval 的评估指标，以避免过于严格的匹配规则导致的假阴性。最大上下文长度为 256K。
LongbenchChat：一个评估长上下文任务中人类偏好对齐情况的数据集。最大上下文长度为 100K。

结果显示，Qwen2.5-Turbo 在各种长上下文任务中均具有优势：

在 RULER 基准测试中，Qwen2.5-Turbo 得分为 93.1，超越了 GPT-4o-mini 甚至 GPT-4，证明了其处理长文本任务的出色能力。
在 LV-Eval 和 LongBench-Chat 等更多长上下文理解任务中，Qwen2.5-Turbo 在大多数维度上都超越了 GPT-4o-mini，并能处理超过 128K token 上下文的任务。

短文本任务

除了在长上下文任务中的性能提升，我们也关注模型在短上下文任务中的表现。现有的上下文长度扩展方法在处理短文本时往往会导致显著的性能下降。因此，我们在构建 Qwen2.5-Turbo 时特别关注了这个问题，确保上下文长度的扩展几乎不影响短文本理解能力。

短文本基准测试的结果显示，Qwen2.5-Turbo 在大多数任务中显著超越了以往上下文长度为 1M token 的开源模型；与 GPT-4o-mini 和 Qwen2.5-14B-Instruct 模型相比，Qwen2.5-Turbo 在短文本任务中取得了相近的性能，同时支持 8 倍的上下文长度。

推理速度

我们测试了不同长度输入的 TTFT（首 token 生成时间）。在 1M token 的序列上，我们使用稀疏注意力将注意力计算压缩了约 12.5 倍，在不同硬件配置下实现了 3.2 到 4.3 倍的加速。

下一步计划？

尽管我们很高兴终于将 Qwen2.5-Turbo 的上下文扩展到了 1M token，我们也认识到，当前模型在解决实际应用中的长序列任务时并非总能表现令人满意。仍有许多未解决的挑战，例如模型在长序列任务中的表现更加不稳定，以及推理成本使得难以使用更大的模型。不过，我们将积极探索进一步对齐长序列中的人类偏好，优化推理效率以减少计算时间，并尝试推出更大更强的长上下文模型。我们期待尽快与您分享长上下文模型开发的新进展，敬请期待！