通义千问用 Qwen-Agent 将 8k 上下文模型扩展到 1M 上下文
Qwen 团队用 8k 上下文的 Qwen2 模型搭建出能处理 1M token 文档的智能体,官方称其表现超过 RAG 和原生长上下文模型。
与其硬训超长上下文窗口,先用小上下文模型加智能体工程覆盖 1M 文档,再把智能体变成合成训练数据的工具,这是长上下文能力建设的一条工程路线。
- 影响处理长文档问答可能不必依赖超长上下文模型的高推理成本,小模型加智能体编排是低成本选项;现有结果均为官方自测口径,换文档类型或模型效果会变;逐块阅读策略 token 消耗和延迟更高,落地前要算清这笔账。
- 参考可考虑用业务里真实的 1M 级长文档,在开源的 Qwen-Agent 实现上对比 RAG 与逐块阅读两种策略的命中率和成本;值得先盘点哪些场景真正需要超过 32k 的上下文,再决定试点顺序。