跳到正文

#阿里

今日 4 条
1月27日周一
  1. 通义千问 Qwen:Blog59

    通义千问开源 Qwen2.5-1M 模型,上下文长度扩展至 100 万 token

    通义千问发布开源 Qwen2.5-1M 系列,包含 Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 两个模型,开源 Qwen 模型首次支持 1M token 上下文。

    决策要点

    开源模型补上了百万 token 上下文这一档,长文本处理多了一条自建选项,但显存门槛把使用者限制在有 GPU 集群的团队。

    • 影响长文档分析、代码库理解等场景可以评估用开源自建替代按量计费的 API;不过 1M 上下文推理起步需要 120GB 到 320GB 显存,硬件投入是主要成本;推理框架完整开源,工程团队可直接复用其稀疏注意力加速方案。
    • 参考可考虑先在 HuggingFace 或 ModelScope 的官方 Demo 上验证自家长文档任务的召回质量;有 GPU 资源的团队值得用 7B 版小规模试点,按官方配置预留至少 120GB 显存再核算成本。
1月26日周日
  1. 通义千问 Qwen:Blog67

    通义千问发布视觉语言模型 Qwen2.5-VL,开源 3B、7B、72B 三档尺寸

    通义千问发布新一代旗舰视觉语言模型 Qwen2.5-VL,可在 Qwen Chat 体验,并以 3B、7B、72B 三档尺寸在 Hugging Face 和 ModelScope 开源 base 与 instruct 版本。

    决策要点

    开源视觉语言模型把文档解析与视觉 Agent 能力带进 3B 到 72B 全尺寸,企业做私有化多模态处理的门槛在下降。

    • 影响发票、表单、表格的结构化输出可直接对接财务和商务流程;3B 等小尺寸为边缘和私有化部署提供了选项;电脑与手机操作等能力目前仅有官方口径。
    • 参考可考虑选一个发票或表单识别场景,用开源 7B 版与现有 OCR 流程对比准确率和成本;有自动化需求的企业可小范围测试其操作电脑和手机的成功率。
1月21日周二
  1. 通义千问 Qwen:Blog42

    通义千问 Qwen 团队提出全局批次负载均衡,近乎零成本改进 MoE 大模型训练

    通义千问 Qwen 团队发文提出 MoE 大模型训练的全局批次级负载均衡损失,指出现有框架的微批次级实现会阻碍专家特化,并与开源 MoE 模型普遍缺乏专家特化的现象相关。

    决策要点

    这是负载均衡损失实现层面的修正,把 MoE 训练的均衡范围从微批次扩大到全局批次,几乎不增加成本即可换来性能与专家特化的提升。

    • 影响自建或继续预训练 MoE 模型的团队可用极小改动换取性能收益;主流框架的均衡 batch size 多在 8 到 16,距论文中 128 的饱和点仍有空间;论文认为现有开源 MoE 模型专家特化不足与旧实现有关。
    • 参考做 MoE 预训练或继续训练的团队可考虑在并行组间同步专家选择频率,先小规模验证收益;选用开源 MoE 模型时,可把专家是否按领域特化纳入评估维度。
1月14日周二
  1. 通义千问 Qwen:Blog38

    通义千问开源 Qwen2.5-Math-PRM-7B/72B 过程奖励模型并发布 ProcessBench 基准

    通义千问 Qwen 团队开源 Qwen2.5-Math-PRM-7B 与 Qwen2.5-Math-PRM-72B 两个过程奖励模型,并发布用于定位数学推理错误步骤的 ProcessBench 基准。

    决策要点

    过程监督从按最终答案打分转向逐步定位错误,官方自己指出只看 BoN 选答案的评测方式存在偏差。

    • 影响依赖数学或流程推理的场景可用步骤级奖励模型提升答案筛选质量;模型与基准均已开源,选型试错成本低;官方论文提示 BoN 评测有潜在偏差,采购评测方法需要跟着调整。
    • 参考可考虑把 ProcessBench 纳入模型选型测试,评估候选模型定位推理错误步骤的能力;依赖数学推理的业务可先小规模试点用 PRM 做 BoN 筛选,与 maj@8 基线对比收益后再决定投入。
12月25日周三
11月28日周四
11月15日周五
  1. 通义千问 Qwen:Blog63

    通义千问发布 Qwen2.5-Turbo,上下文长度扩展至 1M token

    通义千问发布 Qwen2.5-Turbo,上下文长度从 128k 扩展到 1M token,约相当于 150 万汉字或 10 部长篇小说,价格维持 ¥0.3/1M tokens。

    决策要点

    千问把模型上下文扩到 1M token 而价格保持不变,超长文本处理的成本门槛明显下移,长文档任务能否落地主要取决于效果稳定性。

    • 影响整本小说、多篇论文、仓库级代码等超长输入可按平价一次处理;官方自述长序列任务在真实应用中表现仍不够稳定;推理提速让 1M token 输入的首字等待降到约 1 分钟。
    • 参考可考虑盘点业务中整本书、长报告或代码库级的输入场景,先通过 HuggingFace 或 ModelScope Demo 验证效果,再按 ¥0.3/1M tokens 估算接入成本。
11月12日周二
  1. 通义千问 Qwen:Blog65

    通义千问开源 Qwen2.5-Coder 系列代码模型,32B 版编码能力对标 GPT-4o

    通义千问开源 Qwen2.5-Coder 系列代码模型,官方称 32B-Instruct 为当前开源代码模型 SOTA,编码能力与 GPT-4o 相当,Aider 代码修复基准得 73.7 分。

    决策要点

    开源代码模型在编码基准上追平 GPT-4o,企业搭建代码助手多了自托管选项,对闭源 API 的依赖可以降低。

    • 影响研发团队可把代码补全和修复的部分负载转到自托管模型,代码数据留在内部;六个尺寸便于按算力预算选型;官方分数为自报口径,落地效果要结合自家代码库评估。
    • 参考可考虑选一个内部代码补全或修复场景做小规模对比,记录与现用闭源服务的质量和成本差异;值得先盘点 GPU 资源能否承载 7B 到 32B 档位的部署。
9月19日周四
  1. 通义千问 Qwen:Blog74

    通义千问发布 Qwen2.5 系列模型,涵盖通用、代码与数学专用版本

    通义千问发布 Qwen2.5 系列基础模型,含 0.5B 到 72B 共 7 个尺寸及 Qwen2.5-Coder、Qwen2.5-Math 专用模型,除 3B 和 72B 外均采用 Apache 2.0 许可,并同步开源升级版 Qwen2-VL-72B。

    决策要点

    阿里把通用、代码、数学模型一次性全尺寸开源,企业自部署可选的中文开源底座明显变多,跑分均为官方自评。

    • 影响除 3B 和 72B 外均为 Apache 2.0,私有化部署的授权成本低;14B 与 32B 档位给出效果与算力成本的折中选项;官方基准为自评,采购选型前宜用自家业务数据复核。
    • 参考可考虑把 14B 与 32B 档位加入私有化选型清单,用自有评测集与现用模型对比;走 API 路线的团队可先估算 Qwen-Plus 与 Qwen-Turbo 在目标场景的单次调用成本。
  2. 通义千问 Qwen:Blog73

    阿里通义千问发布 Qwen2.5 系列大语言模型,开源 0.5B 到 72B 共七款

    阿里通义千问发布 Qwen2.5 系列大语言模型,开源 0.5B 到 72B 七款稠密模型,新增性价比中尺寸 14B/32B 和移动端 3B,API 型号 Qwen-Plus 与 Qwen-Turbo 经阿里云 Model Studio 提供。

    决策要点

    Qwen2.5 补齐 3B/14B/32B 等中等尺寸开源模型,评测数字逼近闭源和上代旗舰,企业用更小模型承担生产负载的空间变大。

    • 影响中等尺寸开源模型意味着生产部署可选 14B/32B 替代 72B 以降低推理成本;多数模型采用 Apache 2.0 可商用,但 3B 和 72B 使用 Qwen 自有许可,采用前需做合规核查;128K 上下文和 8K 输出让长文档、结构化数据场景可用性扩大。
    • 参考可考虑把新增的 14B/32B 列入自部署模型选型清单,与在用模型跑同套题对比成绩;端侧或移动场景值得试 3B 版本;生产采用前先核对 Qwen License 与 Qwen Research License 的条款。
  3. 通义千问 Qwen:Blog51

    通义千问发布开源代码模型 Qwen2.5-Coder,提供 1.5B 和 7B 版本

    通义千问发布开源代码模型 Qwen2.5-Coder,提供 1.5B 和 7B 版本,32B 版即将推出,CodeQwen 更名为 Qwen-Coder。模型在 5.5 万亿 token 代码数据上继续训练,支持 128K 上下文、覆盖 92 种编程语言,官方称 7B 版超过 DeepSeek-Coder-V2-Lite 和 CodeStral-22B。

    决策要点

    7B 级开源代码模型在官方评测中超过更大规模的对比模型,企业获取代码能力的门槛和许可成本在下降。

    • 影响Apache 2.0 许可允许企业把代码模型集成到自有研发流程并私有化部署;官方称 32B 版即将推出并瞄准闭源模型,现阶段基于 7B 的试点结论届时需要复测。
    • 参考可考虑在代码补全、代码修复等场景用 7B 版做小范围试点,先算出与现有商业工具的效果和成本差;值得提前评估 32B 版发布后的部署资源需求。
  4. 通义千问 Qwen:Blog46

    通义千问开源 Qwen2.5-Math 数学大模型系列,支持中英双语与 TIR 推理

    通义千问团队开源 Qwen2.5-Math 系列数学大模型,包含 1.5B/7B/72B 的 base 与 Instruct 版本以及 Qwen2.5-Math-RM-72B 奖励模型,支持用 CoT 和 TIR 求解中英文数学题,上一代 Qwen2-Math 仅支持英文 CoT。

    决策要点

    数学专用开源模型以小参数量追平上一代大参数版本,垂直专用模型在单一任务上的性价比路线得到官方数据支撑。

    • 影响教育、金融等含大量计算与解题的环节,可评估用开源专用模型本地部署以降低调用成本;官方性能均为自评口径,采购决策前要用自有题目复测;TIR 模式依赖代码执行环境,落地要配套相应基础设施。
    • 参考可考虑先用官方 Qwen-Agent 的 TIR demo 在自有数学类任务上实测 7B 版本,对比现有通用 API 的准确率与成本;值得盘点业务中调用大模型做计算、解题的具体场景清单。
8月29日周四
  1. 通义千问 Qwen:Blog66

    阿里巴巴通义千问发布视觉语言模型 Qwen2-VL,开源 2B 与 7B 版本

    阿里巴巴通义千问发布视觉语言模型 Qwen2-VL,2B 与 7B 版本以 Apache 2.0 许可证开源,72B 版本经 API 提供。官方称 72B 在多数视觉理解基准领先、部分指标超越 GPT-4o 与 Claude 3.5-Sonnet,在 DocVQA 等文档理解任务上优势明显(官方口径,暂无独立验证)。

    决策要点

    视觉理解能力进入开源可自持阶段,企业做文档、视频类多模态应用有了从 2B 端侧到 72B API 的成本梯度。

    • 影响文档识别与视频问答类需求可用 7B 自部署压低单位成本,Apache 2.0 允许商用;视觉操作手机 UI 的智能体能力尚处演示阶段,接入业务流程前需按自有场景验证。
    • 参考可考虑先选一个文档问答或票据识别场景,用 7B 与现有方案比对识别错误率再定试点;移动或边缘侧需求可评估 2B 版本;走 API 前先确认 DashScope 计费。
8月9日周五
  1. 通义千问 Qwen:Blog50

    通义千问发布 Qwen2-Audio 音频语言模型,支持语音直接对话

    通义千问发布音频语言模型 Qwen2-Audio,接受音频和文本输入并生成文本输出,同时支持语音聊天和音频分析。

    决策要点

    Qwen2-Audio 把语音理解和音频分析合并进单一开源模型,语音交互不再需要先过 ASR 转写环节。

    • 影响开源权重让语音客服、录音分析等场景可低成本自建试点;现有版本音频长度在 30 秒内,更适合短语音输入;性能数字为官方自测口径。
    • 参考可考虑下载 Qwen2-Audio-7B-Instruct 权重,在短语音客服或音频内容转写场景做小规模实测,先盘点业务中 30 秒以内的音频入口有哪些。
8月8日周四
  1. 通义千问 Qwen:Blog52

    阿里通义千问发布数学专用模型 Qwen2-Math,含 1.5B/7B/72B 三个规格

    阿里通义千问发布数学专用大模型系列 Qwen2-Math,基于 Qwen2 构建,提供 1.5B/7B/72B 的基座与指令微调版本。官方称 Qwen2-Math-72B-Instruct 在数学基准上超过 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 与 Llama-3.1-405B(官方口径)。

    决策要点

    专用数学模型在数学基准上向通用闭源旗舰发起挑战,垂直领域预训练加强化学习的路线在推理任务上显示出竞争力。

    • 影响金融、教育、工程计算等重数学场景多了一个 72B 级专用模型选项;基准成绩为官方口径,选型前需用自有题目实测;当前仅支持英文,中文场景要等双语版本。
    • 参考可考虑整理一份业务自有数学题测试集,将 Qwen2-Math-72B-Instruct 与现用模型对比准确率;英文为主的场景值得先试点,中文需求可等双语版本发布后再评估。
6月7日周五
  1. 通义千问 Qwen:Blog72

    通义千问发布并开源 Qwen2 系列模型,覆盖 0.5B 至 72B 五种规模

    通义千问发布 Qwen2 系列并开源,提供 0.5B、1.5B、7B、57B-A14B、72B 五种规模的预训练与指令微调模型,已在 Hugging Face 和 ModelScope 上线。

    决策要点

    Qwen2 以五个规模加更宽松许可开源,小模型私有化部署的商用门槛下降,开源模型竞争点转向长上下文与多语言。

    • 影响除 72B 外的模型采用 Apache 2.0,私有化部署与二次分发的许可顾虑减少;多个规模可选,端侧与服务器部署可分开选型;官方称性能超 Llama-3-70B,自建部署与采购 API 的成本对比需要重算。
    • 参考可考虑用 Qwen2-7B-Instruct 在中文或代码场景跑对比测试;值得先确认 Qwen2-72B 的 Qianwen License 商用条款再定部署方案;已有 Qwen1.5 部署的可评估迁移收益。
6月6日周四
  1. 通义千问 Qwen:Blog43

    通义千问用 Qwen-Agent 将 8k 上下文模型扩展到 1M 上下文

    Qwen 团队用 8k 上下文的 Qwen2 模型搭建出能处理 1M token 文档的智能体,官方称其表现超过 RAG 和原生长上下文模型。

    决策要点

    与其硬训超长上下文窗口,先用小上下文模型加智能体工程覆盖 1M 文档,再把智能体变成合成训练数据的工具,这是长上下文能力建设的一条工程路线。

    • 影响处理长文档问答可能不必依赖超长上下文模型的高推理成本,小模型加智能体编排是低成本选项;现有结果均为官方自测口径,换文档类型或模型效果会变;逐块阅读策略 token 消耗和延迟更高,落地前要算清这笔账。
    • 参考可考虑用业务里真实的 1M 级长文档,在开源的 Qwen-Agent 实现上对比 RAG 与逐块阅读两种策略的命中率和成本;值得先盘点哪些场景真正需要超过 32k 的上下文,再决定试点顺序。
5月11日周六
  1. 通义千问 Qwen:Blog49

    通义千问发布 Qwen-Max-0428,进入 Chatbot Arena 排行榜前十

    通义千问团队发布面向对话服务的指令微调模型 Qwen-Max-0428,并称该模型已进入 Chatbot Arena 排行榜前十。官方自测 MT-Bench 得分 8.96,超过 Qwen1.5-110B-Chat 的 8.88,文中列出两者 Arena 分数为 1186 与 1172。

    决策要点

    通义以新模型 Qwen-Max-0428 进入 Chatbot Arena 前十,把对话模型效果交给第三方榜单检验,同时开放 OpenAI 兼容接口。

    • 影响企业选型国内对话模型多了一个进入国际榜单前十的候选;DashScope 兼容 OpenAI 格式,已有 OpenAI SDK 的应用迁移成本较低;现有分数为官方口径,接入前宜按自身场景实测。
    • 参考可考虑用 DashScope 的 OpenAI 兼容接口做小范围接入测试,用自有业务问题集对比 Qwen1.5-110B-Chat 等现有模型;值得先在 Hugging Face Spaces 演示中跑通典型用例再定预算。
4月25日周四
  1. 通义千问 Qwen:Blog49

    通义千问发布 Qwen1.5-110B,系列首个超 100B 参数模型,官方称对标 Llama-3-70B

    通义千问发布 Qwen1.5-110B,这是 Qwen1.5 系列首个超过 100B 参数的模型,官方自评基础能力与 Meta-Llama3-70B 相当。

    决策要点

    开源阵营在千亿档多了一个自评对标 Llama-3-70B 的选项,扩参数与扩数据两条路线的分歧被摆上明面,选型参照随之增加。

    • 影响企业自部署在 100B 级开源模型上多了候选底座,官方给出 Transformers、vLLM、Ollama 等现成使用方式;110B 体量高于 72B,部署成本需按更高档位重新测算。
    • 参考可考虑把 Qwen1.5-110B 与 Llama-3-70B 放进同一组选型评测,用自有业务数据跑中文场景对比;已用 72B 版本的团队值得先测算 110B 的硬件与推理开销再定升级。
4月16日周二
  1. 通义千问 Qwen:Blog52

    阿里千问开源代码模型 CodeQwen1.5-7B,支持 92 种编程语言和 64K 上下文

    阿里千问团队发布开源代码模型 CodeQwen1.5-7B 和 CodeQwen1.5-7B-Chat,基于 Qwen1.5 构建。

    决策要点

    开源代码模型在代码生成、改错和 SQL 场景已给出可与闭源产品对比的成绩,自建代码辅助的成本与数据顾虑有了新选项。

    • 影响私有代码助手按席位收费和数据外发的顾虑,可用本地部署的开源模型部分缓解;64K 上下文面向仓库级代码理解,代码智能体是官方明确的投入方向;Text-to-SQL 能力可让不会写 SQL 的业务人员用自然语言查询数据库。
    • 参考可考虑选内部代码补全或自然语言查库一个场景做小规模对比试用,再决定是否替换现有付费助手;值得评估 64K 长上下文在仓库级问答中的表现。
4月2日周二
  1. 通义千问 Qwen:Blog51

    通义千问发布 Qwen1.5-32B,为 Qwen1.5 系列补上 30B 级中间档

    通义千问发布 Qwen1.5-32B 基座模型与 Qwen1.5-32B-Chat 对话模型,定位为在性能、效率和显存占用之间取得平衡的约 30B 参数档,架构上加入了 GQA(分组查询注意力)以提升推理效率。

    决策要点

    Qwen1.5-32B 补上 14B 与 72B 之间的中间档,官方用它同时回应 14B 能力不足和 72B 推理成本高两个痛点。

    • 影响自部署场景多了一个显存与推理成本明显低于 72B 的中间选项;智能体等 14B 能力不足的应用可以用它补位;与 72B 的性能差距要按具体任务权衡。
    • 参考可考虑在现有 72B 或 14B 服务上做一次替换对照,先算出显存、吞吐与单位推理成本的变化;值得用自家真实任务复测后再决定哪些场景迁移到 32B。
3月28日周四
  1. 通义千问 Qwen:Blog47

    通义千问发布 Qwen1.5-MoE-A2.7B,用三分之一激活参数达到 7B 模型性能

    通义千问发布混合专家(MoE)模型 Qwen1.5-MoE-A2.7B,激活参数 2.7B,官方基准显示性能与 Mistral-7B、Gemma-7B、Qwen1.5-7B 等 7B 模型相当。

    决策要点

    千问用混合专家稀疏架构把 7B 级能力的训练与推理成本同时压低,开源小模型的竞争重心转向单算力效率。

    • 影响等量算力下官方口径吞吐提升 1.74 倍、训练成本降 75%,本地部署小模型的微调与推理预算可以重算;MoE 显存占用更高,transformers 与 vLLM 暂需源码安装,工具链兼容要先行确认。
    • 参考可考虑选客服问答等高频推理场景,用单张 A100 做吞吐与质量对比测试;值得把 GPTQ-Int4 量化版和源码安装成本一并纳入试点评估。
2月4日周日
  1. 通义千问 Qwen:Blog66

    通义千问发布开源模型 Qwen1.5,全系支持 32K 上下文

    阿里通义千问团队发布并开源 Qwen1.5 系列模型,提供 0.5B、1.8B、4B、7B、14B、32B、72B、110B 等 base 和 chat 版本,另含一个 MoE 模型,全系统一支持最长 32768 tokens 上下文。

    决策要点

    Qwen1.5 把模型能力升级和接入成本下降打包在一起,官方将适配工作直接做进主流框架,换取开发者的迁移便利。

    • 影响全尺寸开源加 Int4、Int8、AWQ、GGUF 量化版本,私有化部署和多尺寸选型的空间变大;小模型在 RAG 与长文本任务上的官方成绩可观,本地部署成本有下探空间;官方数据仍明显落后 GPT-4-Turbo,高端场景需要留出替代预案。
    • 参考可考虑先拿业务测试题对比 Qwen1.5-72B-chat 与现有模型的表现;值得测算 7B 到 14B 量化版本在私有环境跑 RAG 的成本;接入前先核对 transformers 和 vLLM 等框架的版本要求。
1月25日周四
  1. 通义千问 Qwen:Blog62

    通义千问发布 Qwen-VL-Plus 与 Qwen-VL-Max,官方称多项图文任务比肩 GPT-4V

    通义千问近日发布升级版视觉语言模型 Qwen-VL-Plus 与 Qwen-VL-Max,官方称两者在多项图文任务上与 Gemini Ultra、GPT-4V 表现相当,并明显超过此前开源模型最好成绩。

    决策要点

    通义千问把视觉语言模型推到与 GPT-4V、Gemini 正面比拼的位置,中文图文理解是其官方主打的差异化卖点。

    • 影响文档抽取、表格识别、图表解读等含图业务的自动化处理多了国产模型选项;官方对比数字未经独立验证,选型前需按自有数据实测;模型已开放网页与 API 入口,小规模验证的接入成本不高。
    • 参考可考虑选一类真实文档或票据场景,将 Qwen-VL-Max 与现有方案做同题对比后再定预算;值得先盘点业务中依赖图片文字识别的环节清单。
1月23日周二
  1. 通义千问 Qwen:Blog55

    通义千问发布 Qwen 系列模型官方介绍,开源覆盖 1.8B 至 72B 四档

    通义千问团队发布官方博客介绍 Qwen 系列模型,已开源 Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B 四档基础模型,系列还包括 Code-Qwen、Math-Qwen 专项模型与 Qwen-VL、Qwen-Audio 多模态模型。

    决策要点

    通义千问把开源模型铺成 1.8B 到 72B 的完整梯队,企业自部署有了按算力预算选型的空间,不再只有闭源 API 一条路。

    • 影响微调显存门槛从 Qwen-1.8B 的 5.8GB 到 Qwen-72B 的 61.4GB,中小团队可先从小参数版本试起;官方性能口径未经独立验证,选型前要按自身场景实测;工具调用与 AgentFabric 为客服、文档处理类流程提供了自部署试点方向。
    • 参考可考虑按官方显存表匹配自身算力,从 1.8B 或 7B 选一个业务场景起步试点;值得用自有数据复测长上下文与 function calling 表现,再决定是否扩大到更大参数版本。
12月28日周三
  1. 通义千问 Qwen:Blog25

    通义千问发布多模态多任务学习框架 OFASys,一行 Instruction 即可定义任务

    通义千问团队发布面向多模态多任务学习的 AI 框架 OFASys,只需一行 Instruction 模板代码即可定义任务,框架自动完成数据预处理、模型搭建与训练等流程。

    决策要点

    OFASys 把多模态多任务学习的批数据、训练稳定性等工程难点收进框架,自研通用模型的门槛从系统工程转向任务设计。

    • 影响对要同时维护图像、语音、文本多条模型线的团队,统一多任务训练可减少工程投入;官方口径下多任务联合训练的性能代价在 5% 以内,为模型合并提供了参照;框架由厂商维护,引入前需评估与自有技术栈的适配。
    • 参考有自研多模态需求的团队可考虑用开源代码复现一个图像描述类任务,估算迁移与训练成本;也可先盘点内部各自独立的多模态模型清单,对照 7 种模态的覆盖范围测算合并训练的收益。
12月24日周六
  1. 通义千问 Qwen:Blog42

    阿里通义开源中文图文对比预训练模型 Chinese CLIP

    阿里通义团队发布并开源 Chinese CLIP,一个面向中文的图文对比预训练模型,提供 ResNet-50 到 ViT-H/14 共 5 个版本,代码与模型权重已在 GitHub 开放,并在 ModelScope 提供演示。

    决策要点

    中文图文检索此前缺少高性能开源模型,Chinese CLIP 把多模态中文底座做成了开源可选项。

    • 影响图文检索类业务可绕开机器翻译环节,避免译文质量拖累下游效果;五个模型尺寸便于按算力预算选型;两阶段迁移方法也降低把 CLIP 迁到其他语言的训练成本。
    • 参考有以文搜图需求的团队可考虑在自有中文数据上对比 Chinese CLIP 与英文 CLIP 加翻译两条路线的召回差异;选型前按五个版本的算力开销列一份试点清单。
11月14日周一
  1. 通义千问 Qwen:Blog31

    通义千问博客发布统一多模态模型 OFA,开源 33M 至 930M 五种尺寸

    通义千问博客介绍统一多模态预训练模型 OFA,将跨模态的理解与生成任务统一到单一 Transformer 框架,并开源预训练与微调模型。模型提供 OFA-Tiny(33M)到 OFA-Huge(930M)五种尺寸,基于 8 项任务的指令式多任务预训练,训练仅用公开数据集。

    决策要点

    OFA 表明模态、架构与任务能统一进单个框架,通用多模态模型路线在作者自测中初见成效。

    • 影响开源的五种尺寸让企业可按算力选择自部署入口;一套模型覆盖视觉问答、图像描述等多类任务,可摊薄按任务单独建模型的成本;现有性能数字均出自作者自测。
    • 参考可考虑用开源的中小尺寸模型在图像描述或视觉问答场景做低成本试点;值得先盘点内部按任务采购或自建的视觉与语言模型清单,评估能否合并。