跳到正文
原文
IT之家·人工智能·· 3 小时前AI 评分50

摩尔线程完成 3 万亿级参数 Kimi K3.1 Pro 的 Day-0 适配,MTT S5000 支持文本与图片推理

Day-0 支持:摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理

文章要点
  • 1摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,完成 Kimi K3.1 Pro 的 Day-0 适配,打通文本与图片基础推理链路
  • 2Kimi K3.1 Pro 是 3 万亿级参数模型,支持 100 万上下文,月之暗面 11 月 4 日公布其完整模型权重
  • 3Agent Arena 排行榜中 Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第 13 位
  • 4基准测试中 Terminal-Bench 4.0 得分 65.7%,Kimi Code Bench 3.0 Long-horizon 得分 61.2%,高于 K3 的 55.95%
决策要点

国产芯片对新模型的适配速度已追上模型发布节奏,软硬件兼容能力正在成为国产算力可用性的核心变量。

  • 影响:企业用国产算力跑开放权重模型的可选项增多,新模型上线到可用的等待期在缩短;推理选型需同时评估芯片侧算子与框架生态的成熟度;3 万亿级参数模型的部署资源门槛要按自身场景另行测算。
  • 参考:评估国产芯片推理方案时,可把 MTT S5000 上的文本与图片基础推理链路列为验证项;值得先按业务场景核对代码与 Agent 类基准成绩,再测算部署资源并圈定试点范围。
  • 依据:适配完成与稳定运行为摩尔线程官方口径,暂无独立验证;排行榜名次来自 Arena 运营的 Agent Arena;基准成绩为报道转述的模型方口径。
正文

IT之家 11 月 6 日消息,本月 4 日,月之暗面正式公布 Kimi K3.1 Pro 完整模型权重。在 Arena 运营的 Agent Arena 智能体排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第 13 位,并在工作、编程与聊天三个类别中均居开放模型首位。

摩尔线程官方今日宣布,摩尔线程基于 AI 训推一体智算卡 MTT S5000 及 MUSA 软件栈,完成 Kimi-K3.1 Pro 模型的 Day-0 适配,打通模型加载、服务启动及文本、图片基础推理链路。

图片

IT之家了解到,Kimi K3.1 Pro 是 K3.1 系列首款模型,也是迄今能力最强的 3 万亿级参数模型,支持 100 万上下文。经过大规模后训练和强化学习,模型在代码、3D 创作、金融研究、知识问答及长程 Agent 任务等方面均全面提升;在代码与 Agent 基准测试中,其表现已达到或接近顶尖闭源模型水平:Terminal-Bench 4.0 得分 65.7%,Kimi Code Bench 3.0 Long-horizon 得分 61.2%,高于 K3 的 55.95%。

摩尔线程官方表示,围绕 Kimi K3.1 Pro 的模型架构与计算特性,其通过 MUSA 软件栈,完成了关键推理路径迁移与适配,支持模型在 MTT S5000 上稳定运行。

  • MUSA 软件栈高兼容,支撑新模型快速迁移:MUSA 在编程模型、运行时接口和 AI 框架层面的快速兼容迁移能力,是本次快速适配的重要基础。团队基于 SGLang-MUSA 承接上游模型实现,并通过 MATE 算子库、Triton-MUSA、TileLang-MUSA 及 MTCC 编译器,完成新架构关键计算路径的迁移与接入,将社区模型代码转化为 MTT S5000 上的实际推理服务。MUSA 软件栈同时覆盖框架执行、算子编译、设备运行和多卡通信,使模型适配能够复用成熟接口,并针对新增计算路径开展优化。

  • 接入 DSA,打通混合注意力与视觉计算:针对 Kimi-K3.1 Pro 的稀疏注意力 DSA,MUSA 软件栈完成索引选择、KV 缓存布局及 Prefill、Decode 计算路径的适配,接入 MATE 稀疏注意力算子,并与 KDA 状态管理、跨层残差及视觉 Attention 共同组成完整执行链路。面对模型采用的 MXFP4 专家权重,团队通过在线转换与跨层复用 FP8 工作区的方式执行专家计算,无需预先生成完整的离线 FP8 权重,为超大模型快速部署提供支持。

来源:IT之家·人工智能 · ithome.com