通义千问开源 Qwen2.5-1M 模型,上下文长度扩展至 100 万 token
通义千问发布开源 Qwen2.5-1M 系列,包含 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 两个模型,开源 Qwen 模型首次支持 1M token 上下文。
开源模型补上了百万 token 上下文这一档,长文本处理多了一条自建选项,但显存门槛把使用者限制在有 GPU 集群的团队。
- 影响长文档分析、代码库理解等场景可以评估用开源自建替代按量计费的 API;不过 1M 上下文推理起步需要 120GB 到 320GB 显存,硬件投入是主要成本;推理框架完整开源,工程团队可直接复用其稀疏注意力加速方案。
- 参考可考虑先在 HuggingFace 或 ModelScope 的官方 Demo 上验证自家长文档任务的召回质量;有 GPU 资源的团队值得用 7B 版小规模试点,按官方配置预留至少 120GB 显存再核算成本。