DeepSeek全面开源推理框架DeepInfer,兼容英伟达与华为昇腾,单集群日吞吐155万亿Token
DeepSeek全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe,兼容英伟达与华为昇腾平台。官方披露基于该框架的DeepSeek V4.1 Flash单集群日吞吐达155万亿Token,按谷电价计算每卡每小时收入38美元。
DeepSeek把自家生产级推理系统开源,AI服务竞争重心进一步转向推理成本控制,且同时覆盖英伟达与昇腾两套算力生态。
- 影响企业自建或私有化推理服务可参考其开源实现降低技术门槛;英伟达与昇腾双平台兼容为国产算力上的大模型部署提供现成框架选择;KVCache管理与负载均衡未开源,完全复刻其成本水平仍有缺口。
- 参考可考虑先测算现有推理服务的每卡吞吐与单位成本,再评估DeepInfer在自有负载上的适配空间;使用或计划采用昇腾算力的团队值得验证该框架的迁移可行性。