英伟达优化 Kimi K3 模型推理速度，性能提升 1.68 倍

英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

文章要点

1调研机构 SemiAnalysis 发文称，英伟达一项上游 vLLM 优化让 Kimi K3 推理速度达到 423 tok/s/user
2对比相同硬件 GB300 NVL72，性能提升 1.68 倍，Kimi K3 参数量为 2.8 万亿
3优化由英伟达 CentML 工程师完成，Megakernel 含 1.2 万行代码，用 Cute DSL 编写解码专用内核
4IT之家注意到，英伟达还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化

决策要点

推理提速的竞争已下沉到内核编写层面，同等 GPU 能跑出更高吞吐，成本红利更多来自工程优化而非换新硬件。

影响：对在自有 GPU 上跑开源模型的企业，同等硬件吞吐提升意味着单位 token 服务成本下降；优化合入 vLLM 上游，需要跟进框架版本才能兑现收益。
参考：可考虑把 vLLM 升级排入推理基础设施的迭代计划，并参考 423 tok/s/user 这类公开吞吐数据先算出自家场景的成本基准；值得核对目标模型是否已有现成内核优化，避免重复投入。
依据：性能数字出自调研机构 SemiAnalysis 的分析文章，由 IT之家转述，为 GB300 NVL72 相同硬件对比结果，暂无独立复测。

正文

IT之家 10 月 18 日消息，调研机构 SemiAnalysis 今日发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user（每用户每秒每 Token）的推理速度，对比相同硬件（GB300 NVL72）性能提升 1.68 倍。

据介绍，该项优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合，使用 Cute DSL 编写英伟达新推出的解码专用内核。该 Megakernel 包含 1.2 万行代码，代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍。

英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

IT之家注意到，英伟达除此之外，还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。

决策要点

AI 评分27

推理提速的竞争已下沉到内核编写层面，同等 GPU 能跑出更高吞吐，成本红利更多来自工程优化而非换新硬件。

影响：对在自有 GPU 上跑开源模型的企业，同等硬件吞吐提升意味着单位 token 服务成本下降；优化合入 vLLM 上游，需要跟进框架版本才能兑现收益。
参考：可考虑把 vLLM 升级排入推理基础设施的迭代计划，并参考 423 tok/s/user 这类公开吞吐数据先算出自家场景的成本基准；值得核对目标模型是否已有现成内核优化，避免重复投入。
依据：性能数字出自调研机构 SemiAnalysis 的分析文章，由 IT之家转述，为 GB300 NVL72 相同硬件对比结果，暂无独立复测。