跳到正文
原文
IT之家·人工智能·· 19 小时前AI 评分56

百度文心开源发布 ERNIE 5.5 Flash Base 基座模型，总参数 280B 每 token 激活 14B

百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B

文章要点
  • 1百度文心开源 ERNIE-5.5-Flash-Base 基座权重，稀疏 MoE 架构总参数 280B，每 token 激活 14B
  • 2模型在 33.5T tokens 上从零完成预训练，训练上下文最长 128K，微调与推理支持 1M tokens 上下文
  • 3本次权重未经中训练与后训练，定位为领域适配、指令微调与强化学习研究起点，后训练版本将随后推出
  • 4官方在 30 项 Benchmark 对比 DeepSeek-V4-Flash-Base 等三个同规模 Base 模型，称各能力维度表现良好
决策要点

百度把 ERNIE 5.5 Flash 的开放起点放在预训练基座而非成品对话模型，实质是给有定制能力的企业和研究者提供公共微调底座。

  • 影响：有研发能力的企业可基于该基座自行做领域适配与强化学习，省去从零预训练的投入；权重未经后训练，不能直接当对话模型使用，生产落地需等官方后训练版本；1M tokens 的微调上下文为长文档场景留出空间。
  • 参考：可考虑先下载 Hugging Face 上的 FP8 或 BF16 权重，用官方 Megatron-Bridge 示例跑一个小规模领域微调试验；同时留意随后推出的后训练版本，再权衡自建微调管线还是直接采用成品模型。
  • 依据：参数规模、训练数据与上下文长度均来自百度官方发布；30 项 Benchmark 对比为官方同一框架下的评测结果，暂无独立验证。
正文

IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。

这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。

本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。

官方表示，Base 模型只是起点。经过后训练的 ERNIE 5.5 Flash 将随后推出。

ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，采用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言，并重点建设了三个方向：

  • 网页数据：多语言网页抓取、高保真文本抽取与模型驱动的多维质量过滤。

  • 代码数据：仓库与网页代码经非代码过滤、去重与质量分级，并补充 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。

  • 长文数据：精选的天然长文档、混入语义相近检索干扰文本的长序列，以及合成的检索、基于引用的问答与多跳问答数据。

▲ 模型结构

据介绍，训练系统与模型结构协同设计。优化器采用分布式 Muon：在数千卡规模下，Dense 参数与 MoE 参数的跨机通信合并为一次集合通信，降低了跨机时延与抖动。注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），可直接用于 HCA 层 512 维宽头的计算。

IT之家附评测数据与开源链接：

文心大模型在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base，涵盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，并列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果，四个模型均基于各自公开发布的 checkpoint、使用同一套评测框架。

ERNIE-5.5-Flash-Base 在各能力维度上均表现良好；长上下文方面，尽管 43 层中有 37 层在 128 倍压缩后的序列上做注意力，6 层 MLA-DSA 已足以支撑细粒度检索。完整表格见 Hugging Face 模型卡。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家包含外链的文章均包含本声明。

来源：IT之家·人工智能 · ithome.com

#模型发布#百度