DeepSeek 开源推理框架 DeepInfer,兼容英伟达与腾
更新时间:2026-10-26 11:22:25
DeepSeek 开源推理框架 DeepInfer,兼容英伟达与腾
DeepInfer 已开源,同步放出 deepseek-recipe
DeepSeek在宣布将内部推理框架DeepInfer全面开源,同日发布生产级的Token编解码组件deepseek-recipe。这两个仓库的路径分别是github.com/deepseek-ai/DeepInfer和github.com/deepseek-ai/deepseek-recipe。据DeepSeek官方的说法,这是建立在开源一系列大模型、TileLang编译工具及推理算子库的基础上。
DeepSeek 官方宣布已采用 DeepInfer 实现 DeepSeek V提供大规模推理服务,承诺新模型代码及优化将持续更新于新框架内。
官方将推理框架置于训练框架之后:模型能力的边界由模型本身决定,能否以合理成本提供超大规模服务则取决于这个中间层,它负责统筹调度庞大算力集群,效率直接影响AI服务的算力成本与电力消耗。开源动机的表述是分享内部部署经验,帮助开发者与企业优化大规模推理的吞吐与延迟,高效构建私有化及公有云部署,降低算力成本、减少能源消耗。这些是官方提出的目标,公开材料中并未提供相应的吞吐、延迟、成本或能耗改善数据。
最新发布的deepseek-recipe被官方描述为与DeepSeek官方API处理逻辑完全对齐,旨在让社区获得与官方部署一致的API体验。这句对齐仅针对编解码组件的处理逻辑,不能说明社区自行部署的整体结果会与官方API完全一致。
能核对的部分与仍然空白的部分
目前能核对的是仓库路径、四项能力清单和两个硬件平台;缺的是许可证、版本号、性能基准和第三方验证。
最新信息显示,DeepInfer的开源许可证、版本号和吞吐、延迟或成本数据均未提供,且没有第三方复现与评测信息。关于“全面开源”具体涵盖的内容(代码、文档或许可证)尚不清楚。
对准备评估这套框架的团队来说,有两个关键前提尚未满足:仓库是否提供明确的许可证与可商用范围,以及官方或第三方是否公布与目标硬件匹配的性能数据。这两项在当前材料中都尚未提供。
