LonZon 套餐咨询
← 返回 AI 情报站

AI 基础设施

DeepSeek 开源生产推理框架 DeepInfer：Apache-2.0、只支持 V4.1-Flash、NVIDIA 与昇腾双线

原文／事件时间：

本站核验：

DeepSeek 在 GitHub 开源 DeepInfer（Apache-2.0），仓库自述是“支撑 DeepSeek 大规模生产服务的高性能推理框架”，本次开源版只提供离线推理。README 列出的能力包括 DSpark 投机解码与置信度调度验证、batch-invariant 推理、确定性采样、结构化输出（regex/JSON schema/EBNF）、Attention DP 与平衡 CP、MoE EP+EPLB、异步调度。受支持模型只有 DeepSeek-V4.1-Flash；硬件为 NVIDIA SM100 GPU 与华为 Ascend 950 NPU 两条线，仓库根目录另备 requirements-nvidia.txt 与 requirements-ascend.txt 两套依赖。

对 AI 使用者意味着什么

开源从“放权重”挪到“放生产线”，自托管门槛下降。但 README 明列一套完整推理服务所需的三项缺口：KV cache 系统、Prefill/Decode 分离部署、数据并行副本间负载均衡，均未包含在本版。batch-invariant 与确定性采样标注为仅 NVIDIA 可用；README 自述原始代码主要基于 vLLM 构建。

来源：GitHub: deepseek-ai/DeepInfer ↗ 原文链接

有具体工作流问题？联系咨询。新闻本身免费阅读。