DeepSeek开源推理框架DeepInfer，首个开放原生运行代码

记者丨赵云帆

编辑丨郑世凤,曾静娇,魏雯静

DeepSeek又一次开源了自己最重要的商业机密之一。

10月20日，深度求索公司宣布，将内部推理框架“DeepInfer”全面开源，并同步开放生产级Token编解码组件deepseek-recipe。

这意味着，云厂商可以使用DeepSeek原生推理框架部署DeepSeek模型，实现接近DeepSeek官方调用的性能和成本——并且在负载调度合理的情况下，大规模云厂商部署非原生DeepSeek的调用成本甚至存在低于官方原生的可能性。

有报道称，相关代码已在GitHub等开发者社区发布。

据记者了解，在全球头部大模型企业中，DeepSeek是首个开放原生实际运行推理框架的企业。

公开信息显示，DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为昇腾算力平台。配套开源的deepseek-recipe，功能是与DeepSeek官方API的Token处理逻辑对齐，使社区部署获得与官方线上服务一致的编解码体验。

DeepSeek方面表示，基于DeepInfer，其已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务，后续新模型的推理代码及优化也将在该框架内持续更新。

“大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于一个长期未被公众了解的中间层：推理框架……面对如今海量的用户调用，推理框架负责统筹调度庞大的算力集群，其效率直接决定了AI服务的算力成本与电力消耗。”DeepSeek在公告中表示。

值得注意的是，在此之前，官方推理框架和编码组件被认为是导致原生部署与社区部署（即非原生部署）成本差异最大的系统层原因。从商业模式的角度，MaaS企业开放模型权重，但不开放推理框架在一定程度上维系了官方Token API的收入水平。

“我们希望通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。”公告还指出。

A股方面，今日AI概念股集体拉升，其中吉大正元4连板，凡拓数创、福莱新材、宁波动力、科森科技等多股垂直涨停斩获2连板，博汇科技、赛摩智能、迪安诊断等20%涨停，润建股份、日海智能、美格智能、博通集成、南威软件等10多只个股10%涨停。

消息面上，工信部总工程师王卫明10月20日在国新办发布会上表示，目前，工信部正在研究起草新一代智能制造有关政策措施，加快推动人工智能与制造业深度融合。

华创证券表示，开源模型与Agent工具链的持续完善，有望降低应用开发成本，推动AICoding向游戏开发、3D内容制作、企业软件及自动化工作流等场景扩展，具备开发者入口和应用生态的平台有望优先受益。

你有布局AI概念吗？看好后市吗？

评论区聊聊！

（声明：文章内容仅供参考，不构成投资建议。投资者据此操作，风险自担。）

SFC

出品丨21财经客户端 21世纪经济报道

编辑丨曾静娇

作者: 21世纪经济报道

查看原文 →