它把账本摊开了，然后告诉你先买一百二十八张卡

2026-10-21 · 人工智能

10 月 20 日，DeepSeek 把自家支撑线上服务的推理框架开源了，名字叫 DeepInfer。同时开源的还有一个 token 编解码组件，deepseek-recipe。

仓库是 10 月 16 日建的，10 月 20 日推的代码。到 21 日早上，GitHub API 上记着一万一千九百三十八颗 star，一千零六十三 fork，Apache 2.0，一百一十五个待处理 issue，还没有任何 release。

Trendshift 上它排第一。

我先去读 README。读完第一段，人就清醒了。

一、第一句话就写清楚了

README 里关于这个开源版本，原话是：本次开源提供离线推理，包含大规模服务所需的核心能力。

offline。离线。

支持模型只有一行：DeepSeek-V4.1-Flash。就一个。

然后往下翻，有一节标题写得跟别的开源项目不太一样，叫「构成一次完整推理服务所必需、但本次未包含」（Required for a complete inference service, not included in this release）。

三项：

一，KV cache 系统。 二，视觉编码器 / 预填充 / 解码的分离部署。 三，数据并行副本之间的负载均衡。

我见过很多开源项目的 README，这一节的位置和措辞都很少见。多数项目会把这些写在 issue 里，或者干脆不提，让人下回来跑不动，再去 Discord 里问。

DeepSeek 是直接列在首页上的。

官方的解释也很直：KV cache 管理和负载均衡这两块跟内部基础设施耦合太深，代码还没全量放开。他们在知乎发了一篇技术长文，把这两块的设计讲了一遍。

设计讲了，代码没给。

二、账本倒是给了

技术问答文档的开头有一句话，我读了两遍：

单个集群目前每天服务一百五十五万亿 token，按谷时电价计，整体营收为每 GPU 小时 38 美元。

这句话的信息量比整份 README 都大。

一家公司愿意公开自己单位算力的收入，这在 AI 行业里是极罕见的。你可以拿它去算很多东西：一次调用大概摊多少钱，缓存命中率值多少钱，一个 KV cache 保留三天的存储成本摊到每百万 token 上是多少。

它同时也是一句提醒：这个数字是「营收」，不是「成本」，更不是「利润」。它是一个规模化之后的坐标，不是一张价目表。

另一组数字在文档里散着：KV cache 保留超过 72 小时；聊天机器人流量的 TTL 是 7 天，agent 流量 3 天；把 7 天砍到 3 天，聊天流量的缓存命中率会掉 0.5% 到 1%。

0.5%。听起来很小。放到一百五十五万亿 token 上，就不是小数了。

存储那边是专用的 3FS 集群，大约 100 PiB 的 SSD，每台存储服务器配 20 块 30.73 TB 的盘，读至少 40 GB/s。摊到每张卡，逻辑容量约 14.4 TB。

我算了一下自己家里那台机器。四个 T 的硬盘，还空着一半。

三、最小能跑多大

文档里有个问答，问的是「最小部署单元得多大」。

回答很客气：1 个预填充实例加 1 个解码实例，是能部署的。然后补了一句，实际上预填充和解码的卡数比例大概是 1 比 1；而推荐的解码配置是 EP64 以上，所以最小的「高效」部署单元，是 64 张卡做预填充，加 64 张做解码。

一百二十八张。

硬件门槛也写明白了：NVIDIA SM100，或者华为昇腾 950。软件这边：Linux、GCC 13 以上、Python 3.12、CUDA 13 或 CANN 9.2。

README 里的性能曲线，prefill 是 4 张 SM100 测的，decode 是 64 张测的。

所以那个场景基本可以想见了：一个团队负责人把这仓库 clone 下来，跑 ./build.sh，编译通过，然后打开 README 找部署说明，看到「64 + 64」，合上笔记本，去写预算申请。

这份开源最诚实的地方就在这儿：它没打算让你在 MacBook 上跑起来。

四、它值钱的地方在哪

那它开源什么了？

预填充和 MoE 那套专家并行，EPLB 的冗余专家与重排策略，DSpark 的投机解码加置信度调度验证，SWA 有界重放，异步零开销批调度，以及「批不变推理」和确定性采样——同样的输入、同样的参数，换一批拼在一起的请求，输出一个字都不变。

最后这两条对做评测的人很重要。批量组成会改变输出，是很多推理框架的隐疾，报分数的时候没人提。

EPLB 那个策略文件只有一百多行，写的是完整的 min-max 放置算法。这部分跟 DeepSeek 的模型没关系，任何人做 MoE 推理都能拿去改。

还有个数字：这套负载均衡做到的效果，大约是「完美均衡的离线基准」的八成。

八成。剩下的两成，就藏在没开源的那部分里。

五、底子是别人的

致谢那一节，DeepSeek 写得很干脆：DeepInfer 最初主要构建在 vLLM 之上，另外参考了 SGLang 和 TensorRT-LLM。

一个把 vLLM 改成自己形状的团队，现在把改完的东西放回来了，还配了一份问答文档，把「我们为什么这么改」一条条讲清楚。

这件事的意义不在「又一个 vLLM 替代品」。它更像一份施工记录：从通用框架出发，为了一个特定模型、两种特定芯片、一种特定的负载（长上下文、高缓存命中、agent 流量），到底要动哪些地方。

对绝大多数人来说，这仓库的正确用法是当资料读，不是当服务装。

六、最后说那个 38 美元

我一直想着那个数字。

每 GPU 小时 38 美元，谷时价，单个集群，一天一百五十五万亿 token。这三个数放在一起，是一个很少被公开的坐标系：AI 服务的钱，究竟是在模型上赚的，还是在调度、缓存和电费之间省出来的。

DeepSeek 的答案看起来是后者。他们把 KV cache 留到三天以上，把预填充和解码拆开，把专家在卡之间搬来搬去，就为了那百分之几的命中率和那零点几的均衡损耗。

这些东西不好看，也不上发布会。它们是一堆 if 和 else，是一百多行的放置策略，是「三天还是七天」这种没人愿意争论的选择。

而真正的秘密，恰好是他们没给的那部分。

所以你打开这个仓库，会看到一个奇怪的分工：能学的那一半全给了，能赚钱的那一半留着了。中间那条线画得很清楚，清楚到你可以指着它说——哦，原来难点在这儿。

知道难点在哪儿，本身已经比大部分开源项目给得多。