摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练

文章要点

1摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan，提供面向 MUSA 平台的训练适配与系统优化
2官方称该项目已在万卡级集群的万亿参数 MoE 预训练中持续应用，实现高 MFU 与长稳训练
3项目覆盖预训练与强化学习两大场景，可与 slime、miles 强化学习框架协同并结合 SGLang 样本生成
4项目支持 blockwise FP8 训练与 DeepEP、ACE 异步通信引擎，加速 MoE 的 Token 分发与结果合并

决策要点

摩尔线程把经自家万卡集群验证过的训练栈开源，实质是以开源换生态，降低开发者在 MUSA 平台上训练大模型的适配门槛。

影响：评估用国产算力做预训练或强化学习的企业，适配大型 MoE 训练的软件成本有望下降；该栈绑定摩尔线程 GPU 与 MUSA 平台，选型需连带考虑硬件路线与生态成熟度。
参考：可考虑让算力评估团队在测试环境部署该项目，对照自有训练栈的 MFU 与稳定性；值得同步核对 slime、miles 等配套框架与自身训练流程的兼容性。
依据：高 MFU 与长稳训练均来自摩尔线程官方介绍，未附具体数字，官方口径暂无独立验证；代码已发布在 GitHub 的 MooreThreads/Megatron-MUSA-Titan 仓库。

正文

感谢IT之家网友有鲫雪狐的线索投递！

IT之家 10 月 28 日消息，摩尔线程今日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于摩尔线程全功能 GPU，聚焦万卡级集群的万亿参数 MoE 模型训练需求，覆盖预训练与强化学习两大场景，为开发者提供面向 MUSA 平台的训练适配与系统优化能力。

据介绍，Megatron-MUSA-Titan 已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用，经过长时间训练实践检验，实现高 MFU（模型算力利用率）与长稳训练，同时支持与 slime、miles 强化学习框架协同，结合 Megatron 训练与 SGLang 样本生成，构建贯通万亿参数 MoE 预训练与强化学习的训练基础。

IT之家注意到，Megatron-MUSA-Titan 支持 blockwise FP8 训练，将摩尔线程全功能 GPU 的低精度计算能力引入训练流程，提升大规模训练的计算效率。还可结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 中的 Token 分发与结果合并，并实现专家并行（EP）与计算的通算重叠，让数据交换与计算任务协同执行，提升端到端训练效率。

参考：

https://github.com/MooreThreads/Megatron-MUSA-Titan

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家包含外链的文章均包含本声明。

决策要点

AI 评分37

摩尔线程把经自家万卡集群验证过的训练栈开源，实质是以开源换生态，降低开发者在 MUSA 平台上训练大模型的适配门槛。

影响：评估用国产算力做预训练或强化学习的企业，适配大型 MoE 训练的软件成本有望下降；该栈绑定摩尔线程 GPU 与 MUSA 平台，选型需连带考虑硬件路线与生态成熟度。
参考：可考虑让算力评估团队在测试环境部署该项目，对照自有训练栈的 MFU 与稳定性；值得同步核对 slime、miles 等配套框架与自身训练流程的兼容性。
依据：高 MFU 与长稳训练均来自摩尔线程官方介绍，未附具体数字，官方口径暂无独立验证；代码已发布在 GitHub 的 MooreThreads/Megatron-MUSA-Titan 仓库。