DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠
DeepSeek 10 月 20 日宣布将内部推理框架 DeepInfer 全面开源,并同步开源与官方 API 处理逻辑对齐的生产级 Token 编解码组件 deepseek-recipe,这是在此前开源一系列大模型、TileLang 编译工具及推理算子库之后的进一步动作。
DeepSeek 的开源从模型延伸到决定服务成本的推理框架层,实质是把官方生产级部署经验开放给企业自建部署使用。
- 影响自建推理服务的企业可参考官方生产级经验优化吞吐与延迟,压降算力与电力成本;兼容英伟达与华为昇腾,走国产算力路线多一个现成选择;官方称新模型推理代码将在此持续更新。
- 参考可考虑用自身业务负载实测 DeepInfer 的吞吐与延迟,估算私有化部署的成本空间;值得对照 deepseek-recipe 核查自家 API 编解码逻辑差异;选型国产算力的团队可把昇腾兼容纳入验证清单。