DeepSeek开源推理框架DeepInfer及编解码组件

2026 年 10 月 20 日，DeepSeek 宣布开源内部大规模推理框架 DeepInfer，并同步公布配套的编解码组件 deepseek-recipe。

此次开放的技术涉及大模型推理调度、算子优化、分布式计算及 API 协议适配。

比开源更受关注的是，DeepSeek 在《DeepSeek V4.1 Flash 大规模推理部署实践》技术文章中披露了一组运营数据。

基于 DeepInfer 框架，DeepSeek 已实现 V4.1 Flash 的高吞吐、低延迟大规模推理服务，单一集群每天处理约 155 万亿 Token，整体收入折合每张计算卡每小时 38 美元（254 元人民币），按谷时段 API 服务价格计算。

按照每天 24 小时计算，155 万亿 Token 相当于平均每秒处理约 17.94 亿 Token。

其中，每卡每小时 38 美元是按照谷时段服务价格计算的收入指标。

此次开源的 DeepInfer 正是支撑上述大规模推理服务的核心技术之一，能够通过优化计算调度、减少重复计算及提高硬件利用率，在控制成本的同时处理更多用户请求。

DeepInfer 明确支持英伟达 NVIDIA SM100 GPU 和华为昇腾 Ascend 950 NPU 两种硬件平台。

此前，DeepSeek 已陆续开源大模型、TileLang 编译工具以及多项推理算子库。此次进一步开放内部推理框架，旨在帮助开发者和企业优化模型部署效率，降低大规模推理服务的成本。

DeepSeek 还表示，未来新模型的推理代码及后续优化将继续在 DeepInfer 项目中更新。

DeepInfer：支撑 DeepSeek 大规模生产服务

DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架。

此次开源版本提供离线推理能力，以及构建大规模推理服务所需的部分核心功能，目前明确支持的模型为 DeepSeek-V4.1-Flash。

DeepSeek 大规模推理服务架构示意图

在技术实现方面，DeepInfer 集成 FlashMLA、DeepGEMM、DeepEP、TileKernels 和 DeepSelect 等高性能算子及相关组件，支持注意力并行、MoE 专家并行、专家负载均衡、异步调度和结构化输出等功能。

其中，DeepInfer 支持 DSpark 推测解码与基于置信度的验证调度，通过提前生成候选 Token 并优化验证过程，提高模型解码效率。同时，其 SWA bounded replay 功能能够减少解码过程中需要重复处理的上下文内容，降低计算开销。

DeepInfer 还提供批次不变性推理与确定性采样能力，以提高不同批处理条件下模型输出的一致性。不过，官方文档明确指出，这两项功能目前仅支持 NVIDIA 平台。

硬件方面，DeepInfer 已明确支持 NVIDIA SM100 GPU 和华为 Ascend 950 NPU。对应的构建环境分别需要 CUDA 13 和 CANN 9.2，并要求使用 Linux、Python 3.12 及 GCC 13.0 或更高版本。

DeepSeek 同时公布了推理性能测试结果及复现方法。其中，Prefill（预填充）测试使用 4 张 SM100 GPU，Decode（解码）测试使用 64 张 SM100 GPU，分别测量输入处理和输出生成阶段的吞吐量与延迟关系。

不过，此次开源版本并未包含完整生产推理服务所需的全部基础设施。

根据官方说明，开发者仍需另外配置 KV Cache 系统、完整的 Prefill/Decode 分离服务，以及跨数据并行副本的负载均衡机制。

因此，仅凭此次公开的代码，尚不能直接复现 DeepSeek 完整生产环境的运营表现。

DeepInfer 最初主要基于开源推理框架 vLLM 开发，同时借鉴了 SGLang 和 NVIDIA TensorRT-LLM 的相关技术设计。该项目采用 Apache 2.0 开源许可证。

deepseek-recipe：开放生产级 API 编解码组件

与 DeepInfer 一同公布的 deepseek-recipe，主要负责模型推理前后的数据格式转换，是连接 API 服务与模型推理后端的组件。

根据官方 GitHub 文档，deepseek-recipe 由 Rust 库及 Python 绑定组成，支持将 Messages、Chat Completions 和 Responses 等不同格式的 API 请求转换为统一的对话结构，再生成 DeepSeek 模型使用的提示词及 Token 序列。

模型完成推理后，该组件还可以解析生成结果，并转换为相应 API 协议要求的响应格式，包括流式输出、推理内容、工具调用及结构化数据等。

目前，deepseek-recipe 支持 DeepSeek V4 和 V4.1 系列模型的提示词编码，兼容思考模式、推理强度设置及 JSON Schema 等结构化输出要求。其中，V4.1 支持图像输入处理，而 V4 不支持图像输入。

deepseek-recipe 本身不负责模型计算、工具执行或 HTTP 网络传输，需要与推理后端及其他服务组件配合使用。

该项目采用 MIT 开源许可证。

形象地说，可以将 DeepSeek 的 AI 服务比作一家大型快递公司，每天需要处理海量包裹。

此次开源的 DeepInfer，相当于快递公司的智能分拣和调度系统，负责协调设备、分配任务、减少等待和重复处理，让相同数量的设备在单位时间内处理更多包裹。

而同步开源的 deepseek-recipe，则相当于快递公司的收件和派件系统，负责识别不同格式的客户订单，将其转换为内部统一的处理格式，并在任务完成后，按照客户要求的格式交付结果。

两者配合，一个负责高效处理任务，一个负责接收和交付。

官方开源地址：

DeepInfer：

https://github.com/deepseek-ai/DeepInfer

deepseek-recipe：

https://github.com/deepseek-ai/deepseek-recipe

技术文章：

https://zhuanlan.zhihu.com/p/2095560295930508953

云头条声明：如以上内容有误或侵犯到你公司、机构、单位或个人权益，请联系我们说明理由，我们会配合，无条件删除处理。

作者: 云头条

查看原文 →