通义千问发布开源模型 Qwen1.5,全系支持 32K 上下文
阿里通义千问团队发布并开源 Qwen1.5 系列模型,提供 0.5B、1.8B、4B、7B、14B、32B、72B、110B 等 base 和 chat 版本,另含一个 MoE 模型,全系统一支持最长 32768 tokens 上下文。
决策要点
Qwen1.5 把模型能力升级和接入成本下降打包在一起,官方将适配工作直接做进主流框架,换取开发者的迁移便利。
- 影响全尺寸开源加 Int4、Int8、AWQ、GGUF 量化版本,私有化部署和多尺寸选型的空间变大;小模型在 RAG 与长文本任务上的官方成绩可观,本地部署成本有下探空间;官方数据仍明显落后 GPT-4-Turbo,高端场景需要留出替代预案。
- 参考可考虑先拿业务测试题对比 Qwen1.5-72B-chat 与现有模型的表现;值得测算 7B 到 14B 量化版本在私有环境跑 RAG 的成本;接入前先核对 transformers 和 vLLM 等框架的版本要求。