通义千问发布 QVQ-72B-Preview,示例演示模型分步推理解题
通义千问在官方博客发布 QVQ-72B-Preview,标题为 QVQ: To See the World with Wisdom。博客正文为一段模型解题推理示例,模型应用乘积求导法则分步计算 h'(2),过程中多次核对表格数值并重复验算,最终给出答案 -29。
通义千问在官方博客发布 QVQ-72B-Preview,标题为 QVQ: To See the World with Wisdom。博客正文为一段模型解题推理示例,模型应用乘积求导法则分步计算 h'(2),过程中多次核对表格数值并重复验算,最终给出答案 -29。
通义千问(Qwen)团队在官方博客发布 QwQ-32B-Preview(https://qwenlm.github.io/blog/qwq-32b-preview/),正文以一道数学题完整展示模型的逐步推理过程。
通义千问发布 Qwen2.5-Turbo,上下文长度从 128k 扩展到 1M token,约相当于 150 万汉字或 10 部长篇小说,价格维持 ¥0.3/1M tokens。
千问把模型上下文扩到 1M token 而价格保持不变,超长文本处理的成本门槛明显下移,长文档任务能否落地主要取决于效果稳定性。
通义千问开源 Qwen2.5-Coder 系列代码模型,官方称 32B-Instruct 为当前开源代码模型 SOTA,编码能力与 GPT-4o 相当,Aider 代码修复基准得 73.7 分。
开源代码模型在编码基准上追平 GPT-4o,企业搭建代码助手多了自托管选项,对闭源 API 的依赖可以降低。
通义千问发布 Qwen2.5 系列基础模型,含 0.5B 到 72B 共 7 个尺寸及 Qwen2.5-Coder、Qwen2.5-Math 专用模型,除 3B 和 72B 外均采用 Apache 2.0 许可,并同步开源升级版 Qwen2-VL-72B。
阿里把通用、代码、数学模型一次性全尺寸开源,企业自部署可选的中文开源底座明显变多,跑分均为官方自评。
阿里通义千问发布 Qwen2.5 系列大语言模型,开源 0.5B 到 72B 七款稠密模型,新增性价比中尺寸 14B/32B 和移动端 3B,API 型号 Qwen-Plus 与 Qwen-Turbo 经阿里云 Model Studio 提供。
Qwen2.5 补齐 3B/14B/32B 等中等尺寸开源模型,评测数字逼近闭源和上代旗舰,企业用更小模型承担生产负载的空间变大。
通义千问发布开源代码模型 Qwen2.5-Coder,提供 1.5B 和 7B 版本,32B 版即将推出,CodeQwen 更名为 Qwen-Coder。模型在 5.5 万亿 token 代码数据上继续训练,支持 128K 上下文、覆盖 92 种编程语言,官方称 7B 版超过 DeepSeek-Coder-V2-Lite 和 CodeStral-22B。
7B 级开源代码模型在官方评测中超过更大规模的对比模型,企业获取代码能力的门槛和许可成本在下降。
通义千问团队开源 Qwen2.5-Math 系列数学大模型,包含 1.5B/7B/72B 的 base 与 Instruct 版本以及 Qwen2.5-Math-RM-72B 奖励模型,支持用 CoT 和 TIR 求解中英文数学题,上一代 Qwen2-Math 仅支持英文 CoT。
数学专用开源模型以小参数量追平上一代大参数版本,垂直专用模型在单一任务上的性价比路线得到官方数据支撑。
阿里巴巴通义千问发布视觉语言模型 Qwen2-VL,2B 与 7B 版本以 Apache 2.0 许可证开源,72B 版本经 API 提供。官方称 72B 在多数视觉理解基准领先、部分指标超越 GPT-4o 与 Claude 3.5-Sonnet,在 DocVQA 等文档理解任务上优势明显(官方口径,暂无独立验证)。
视觉理解能力进入开源可自持阶段,企业做文档、视频类多模态应用有了从 2B 端侧到 72B API 的成本梯度。
通义千问发布音频语言模型 Qwen2-Audio,接受音频和文本输入并生成文本输出,同时支持语音聊天和音频分析。
Qwen2-Audio 把语音理解和音频分析合并进单一开源模型,语音交互不再需要先过 ASR 转写环节。
阿里通义千问发布数学专用大模型系列 Qwen2-Math,基于 Qwen2 构建,提供 1.5B/7B/72B 的基座与指令微调版本。官方称 Qwen2-Math-72B-Instruct 在数学基准上超过 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 与 Llama-3.1-405B(官方口径)。
专用数学模型在数学基准上向通用闭源旗舰发起挑战,垂直领域预训练加强化学习的路线在推理任务上显示出竞争力。
通义千问发布 Qwen2 系列并开源,提供 0.5B、1.5B、7B、57B-A14B、72B 五种规模的预训练与指令微调模型,已在 Hugging Face 和 ModelScope 上线。
Qwen2 以五个规模加更宽松许可开源,小模型私有化部署的商用门槛下降,开源模型竞争点转向长上下文与多语言。
通义千问团队发布面向对话服务的指令微调模型 Qwen-Max-0428,并称该模型已进入 Chatbot Arena 排行榜前十。官方自测 MT-Bench 得分 8.96,超过 Qwen1.5-110B-Chat 的 8.88,文中列出两者 Arena 分数为 1186 与 1172。
通义以新模型 Qwen-Max-0428 进入 Chatbot Arena 前十,把对话模型效果交给第三方榜单检验,同时开放 OpenAI 兼容接口。
通义千问发布 Qwen1.5-110B,这是 Qwen1.5 系列首个超过 100B 参数的模型,官方自评基础能力与 Meta-Llama3-70B 相当。
开源阵营在千亿档多了一个自评对标 Llama-3-70B 的选项,扩参数与扩数据两条路线的分歧被摆上明面,选型参照随之增加。
阿里千问团队发布开源代码模型 CodeQwen1.5-7B 和 CodeQwen1.5-7B-Chat,基于 Qwen1.5 构建。
开源代码模型在代码生成、改错和 SQL 场景已给出可与闭源产品对比的成绩,自建代码辅助的成本与数据顾虑有了新选项。
通义千问发布 Qwen1.5-32B 基座模型与 Qwen1.5-32B-Chat 对话模型,定位为在性能、效率和显存占用之间取得平衡的约 30B 参数档,架构上加入了 GQA(分组查询注意力)以提升推理效率。
Qwen1.5-32B 补上 14B 与 72B 之间的中间档,官方用它同时回应 14B 能力不足和 72B 推理成本高两个痛点。
通义千问发布混合专家(MoE)模型 Qwen1.5-MoE-A2.7B,激活参数 2.7B,官方基准显示性能与 Mistral-7B、Gemma-7B、Qwen1.5-7B 等 7B 模型相当。
千问用混合专家稀疏架构把 7B 级能力的训练与推理成本同时压低,开源小模型的竞争重心转向单算力效率。
阿里通义千问团队发布并开源 Qwen1.5 系列模型,提供 0.5B、1.8B、4B、7B、14B、32B、72B、110B 等 base 和 chat 版本,另含一个 MoE 模型,全系统一支持最长 32768 tokens 上下文。
Qwen1.5 把模型能力升级和接入成本下降打包在一起,官方将适配工作直接做进主流框架,换取开发者的迁移便利。
通义千问近日发布升级版视觉语言模型 Qwen-VL-Plus 与 Qwen-VL-Max,官方称两者在多项图文任务上与 Gemini Ultra、GPT-4V 表现相当,并明显超过此前开源模型最好成绩。
通义千问把视觉语言模型推到与 GPT-4V、Gemini 正面比拼的位置,中文图文理解是其官方主打的差异化卖点。
通义千问团队发布官方博客介绍 Qwen 系列模型,已开源 Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B 四档基础模型,系列还包括 Code-Qwen、Math-Qwen 专项模型与 Qwen-VL、Qwen-Audio 多模态模型。
通义千问把开源模型铺成 1.8B 到 72B 的完整梯队,企业自部署有了按算力预算选型的空间,不再只有闭源 API 一条路。
阿里通义团队发布并开源 Chinese CLIP,一个面向中文的图文对比预训练模型,提供 ResNet-50 到 ViT-H/14 共 5 个版本,代码与模型权重已在 GitHub 开放,并在 ModelScope 提供演示。
中文图文检索此前缺少高性能开源模型,Chinese CLIP 把多模态中文底座做成了开源可选项。