大模型生产级部署与选卡估算：从”能跑”到”对外商用”
一句话定位：当你需要回答”部署某个满血开源模型，最低要几张什么卡，N 路并发下每个用户能有多快”时，这篇给你一套可手算的估算流程，以及读懂官方 benchmark 表所需的全部概念。适合已经会在单机上跑 vLLM、现在要往多机集群和商用服务迈进的人。
本文只补现有四篇部署笔记没覆盖的”上一层”：LLM 推理引擎选型 讲引擎，本地部署模型量化选型 讲精度和显存，HomeLab 到中小企业 LLM 部署架构 讲 8 卡以内的架构，NVIDIA 显卡架构与 AI 算力 讲硬件原理。它们讲过的东西这里只给链接，不重复。
目录
- 1. 背景与问题
- 2. 核心结论
- 3. 四个速度指标：别再把总吞吐当单用户速度
- 4. 三笔账：权重、KV Cache、带宽
- 5. 多卡协作与互联：为什么工作站卡”咬咬牙才能干”
- 6. 三种生产级进阶手段
- 7. 卡的谱系补全：Hopper 之上还有什么
- 8. 估算流程：从模型名到卡数与并发
- 9. 案例复盘：一份真实的商用部署需求
- 10. 常见误区
- 11. 学习路线
- 12. 与本知识库其他章节的关联
- 13. 术语速查
- 14. 来源与局限性
1. 背景与问题
现有笔记的深度是”个人到中小企业，单机 8 卡以内，几十到几百用户”。但真实世界里还有一类需求：公司要对外提供服务，要部署 GLM-5.3、DeepSeek-V4、Kimi K3、Qwen 2.4T 这类总参数几百 B 到几 T 的满血 MoE 模型，要求 64 路并发下每个用户还能流畅打字。
这时会冒出一堆新词：TTFT、TPOT、TP=8、EP16、KV Cache 分级到内存和闪存、PD 分离、投机解码翻 3 倍、GB300 NVL72、合规采购。它们不是单机部署的自然延伸，而是另一套思维方式：从业务指标反推硬件，而不是”有什么卡就跑什么模型”。
本文不覆盖：推理引擎的安装与命令行（见推理引擎笔记）、量化格式细节（见量化选型笔记）、网关限流监控（见 HomeLab 笔记）、显卡代际原理（见 NVIDIA 显卡笔记）。
2. 核心结论
| 问题 | 结论 |
|---|---|
| 选卡的本质是什么 | 在”并发越高总吞吐越大、但每个用户越慢”这条曲线上选一个满足业务指标的点 |
| 最低卡数怎么定 | 权重装得下只是门槛，还要给 KV Cache 留三四成显存，再按官方 recipes 的 TP/EP 配置取整 |
| 单用户速度上限由什么决定 | 显存带宽除以每 token 要读的权重字节数，和算力关系不大 |
| 什么时候必须上数据中心卡 | 模型一张卡装不下、需要多卡张量并行时。没有 NVLink 的工作站卡做张量并行会被 PCIe 拖死 |
| 图像视频模型为什么便宜 | 单卡能装下一个实例，并发靠多开实例，实例之间不通信，不需要 NVLink |
| 最大风险 | 不是技术，是硬件供应、售后和合规。高端数据中心卡在国内不能走正规渠道 |
| 一句话记忆 | 权重定门槛，KV Cache 定并发，带宽定速度，互联定能不能切，合规定买不买得到 |
3. 四个速度指标：别再把总吞吐当单用户速度
3.1 指标定义
一句话理解：一套推理服务的”快”有四个互相牵制的维度，厂商宣传只说对自己有利的那个。
| 指标 | 英文 | 含义 | 用户感受 | 典型好值 |
|---|---|---|---|---|
| 首字延迟 | TTFT，Time To First Token | 发出请求到第一个字出来 | 卡不卡 | 聊天 < 1 秒，长文档 < 5 秒 |
| 每 token 间隔 | TPOT，Time Per Output Token | 第一个字之后每个字的间隔 | 打字流不流畅 | < 50 毫秒 |
| 每用户速度 | TPS/user 或 per-user decode | 单个用户看到的生成速度，约等于 1000 除以 TPOT | 快不快 | 20 到 30 tok/s 已经比人阅读快 |
| 总吞吐 | aggregate throughput | 所有用户加起来每秒产出多少 token | 一套机器能养多少用户 | 越大越省钱 |
生活类比：餐厅出菜。TTFT 是点完菜到第一道上桌的等待；TPOT 是后面每道菜之间的间隔；每用户速度是你这一桌吃得多快；总吞吐是整个厨房一小时出多少盘菜。厨房出菜总量翻十倍，不代表你那桌上菜更快，往往还更慢。
3.2 并发曲线
四个指标的关系可以用一个近似公式串起来：
总吞吐 ≈ 并发数 × 每用户速度并发上去，总吞吐会涨，但每用户速度会掉。NVIDIA 官方给 Kimi K3 在 16 张 GB300 上的 benchmark 就是这条曲线的三个采样点：
| 部署模式 | 并发 | 总吞吐 tok/s | 每 GPU tok/s | TTFT | TPOT | 每用户 tok/s |
|---|---|---|---|---|---|---|
| 低延迟模式 TEP16 | 4 | 201 | 12.6 | 1.77 秒 | 18 毫秒 | 55 |
| 高吞吐模式 DEP16 | 64 | 1669 | 104 | 4.51 秒 | 34 毫秒 | 29 |
| 高吞吐模式 DEP16 | 256 | 3824 | 239 | 4.59 秒 | 62 毫秒 | 16 |
从 4 路到 256 路，总吞吐涨了 19 倍，每用户速度掉到不足三分之一。选卡就是在这条曲线上选点：先定”每用户不低于多少、首字不超过多久、峰值多少并发”，再找满足条件的最小配置。
💡 为什么并发几乎是”白送”的：见 NVIDIA 显卡笔记 § 5.2。生成阶段每出一个 token 都要把激活权重从显存完整读一遍，一个用户读一遍，64 个用户也是读一遍，大家共享这次搬运。所以在算力饱和之前，加并发只增加总吞吐，几乎不增加成本。
3.3 厂商宣传数字怎么读
厂商常给出”每用户 50 tok/s 时单 GPU 可持续 16000 tok/s”这类数字。它和上表 64 路并发下的每 GPU 104 tok/s 差了 150 倍。两者都不是假话，差别在条件：宣传值对应的是整机架 NVLink 域、极高并发、PD 分离、投机解码等所有优化全开的峰值；官方部署指南的表是开箱即用的基线。
读到任何 tok/s 数字，先问四件事：几路并发、几张卡、是总吞吐还是每用户、开了哪些优化。
4. 三笔账：权重、KV Cache、带宽
显存里要装三样东西：模型权重、KV Cache、运行时开销。运行时开销包括中间激活值、多卡通信缓冲区、CUDA Graph 等，通常预留 10% 到 20%。经验上权重占六七成，剩下给 KV Cache。
4.1 权重账
权重字节数 = 参数量 × 每参数字节数每参数字节数由精度决定，完整精度表见 量化选型笔记 § 5。这里只列部署常见的三档：
| 精度 | 每参数字节 | 320B 模型权重 | 最低硬件代际 |
|---|---|---|---|
| BF16 | 2 | 约 640 GB | 所有现代卡 |
| FP8 | 1 | 约 320 GB | Hopper 数据中心卡，Ada 及以后的工作站卡和消费卡。A100 不行 |
| MXFP4 / NVFP4 | 0.5 | 约 160 GB | Blackwell 及以后 |
“原生 FP8”指官方训练发布时权重就是 FP8，不是事后压缩，精度损失小。模型名里的”官方 MXFP4 版”意味着这个文件只能上 Blackwell；同一模型的”H200 方案”则是给没有 Blackwell 的人准备的 FP8 版本。
验证一下：GLM-5.3-Flash 总参数 320B，原生 FP8，权重文件实际约 306 GiB。320B × 1 字节 ≈ 298 GiB，多出的几 GiB 是 embedding 等没量化的层。手算和实际对得上。
MoE 模型的名字会写成”总参数-A激活参数”，如 Qwen3.8-2.4T-A95B 是总参数 2.4T、每 token 激活 95B。总参数决定显存，激活参数决定每 token 的算力和带宽消耗。这一点 量化选型笔记坑 5 已经讲过，这里只补一句：正因为激活参数远小于总参数，超大 MoE 的单用户速度反而不慢，它慢在”装不下”。
4.2 KV Cache 账
估算公式见 量化选型笔记坑 4。生产场景要补两个认知：
- KV Cache 随”并发数 × 上下文长度”线性增长。64 路并发、每路 32K 上下文，即使是 MLA 这种压缩过的注意力结构，也要几十 GB；普通 GQA 结构轻松上百 GB。
- 这决定了”最低卡数”往往高于”权重能装下的卡数”。320B FP8 模型用 4 张 80GB 卡刚好装下权重，但没有一字节留给 KV Cache，实际跑不了。真实最低配置是 8 张 H100 或 H200 用 TP=8，把权重摊到 8 张卡后，每张卡才空出一半显存给 KV Cache 和运行时。
4.3 带宽账
单用户速度上限 ≈ 显存带宽 ÷ 每 token 要读的权重字节数生成阶段是访存瓶颈，每出一个 token 要把激活权重完整读一遍。所以：
| 卡 | 显存带宽 | 跑激活 30B 的 FP8 模型 | 单卡理论上限 |
|---|---|---|---|
| H100 | 3.35 TB/s | 每 token 读 30 GB | 约 110 tok/s |
| H200 | 4.8 TB/s | 同上 | 约 160 tok/s |
| GB300 | 约 8 TB/s | 同上 | 约 270 tok/s |
多卡 TP 时带宽可以叠加，因为每张卡只读自己那一份权重。这个公式是一眼看穿宣传数字的武器：算出来的上限如果比宣传值还低，那宣传值一定是总吞吐，不是单用户速度。
5. 多卡协作与互联：为什么工作站卡”咬咬牙才能干”
5.1 四种并行方式
推理引擎笔记 § 4.5 列过 TP / PP / EP 三种，这里补充它们对互联的要求，以及官方 benchmark 里 TEP、DEP 这些缩写的意思：
| 方式 | 切法 | 通信量 | 对互联的要求 |
|---|---|---|---|
| TP 张量并行 | 每一层的矩阵切到多张卡，每一步都要汇总 | 每层每步都通信，量最大 | 必须 NVLink，PCIe 会拖死 |
| PP 流水线并行 | 按层切，前几层卡 A、后几层卡 B | 只在层边界传一次，量小 | PCIe 可接受，但有气泡浪费 |
| EP 专家并行 | MoE 的不同专家放不同卡 | 每层路由时交换 token | 单机 NVLink 好，跨机要高速网络 |
| DP 数据并行 | 多个完整副本各接不同请求 | 几乎不通信 | 无要求 |
官方部署指南里的组合命名：
- TEP16：注意力部分用 TP、专家部分用 EP，共 16 张卡。延迟低，适合小并发。
- DEP16：注意力部分用 DP、专家部分用 EP，共 16 张卡。吞吐高，适合大并发。
- TP=8：8 张卡合成一张”大卡”跑一个模型副本，是 8 卡机的标准用法。
生活类比：TP 是八个人抬一张桌子，每一步都要喊口号对齐；PP 是流水线，每人做一道工序再传给下一个；EP 是按专业分科室；DP 是开八家分店各接各的客。抬桌子的八个人如果隔着一条马路喊话，那就抬不动了，这条马路就是 PCIe。
5.2 互联带宽差距
| 通道 | 带宽 | 说明 |
|---|---|---|
| PCIe 5.0 x16 | 约 64 GB/s 单向 | 工作站卡和消费卡的唯一选择 |
| NVLink 4，Hopper | 900 GB/s | H100 / H200 SXM 版，8 卡机内全互联 |
| NVLink 5，Blackwell | 1.8 TB/s | B200 / GB300 |
| NVLink Switch 域，NVL72 | 72 颗 GPU 连成一个域 | 整机架当一张超大卡用 |
| InfiniBand / RoCE 400G | 约 50 GB/s | 跨机器互联，比 NVLink 慢一个量级 |
NVLink 代际演进的完整表见 NVIDIA 显卡笔记 § 6。这里的结论是：RTX Pro 6000、L40S 这类工作站卡没有 NVLink，8 张堆一起做 TP 会被 PCIe 拖死，只能跑”一张卡装得下”的模型。这就是”专业卡咬咬牙能干，后面基本都得计算卡”的原因。
5.3 图像视频模型为什么例外
扩散模型参数量十几到几十 B，一张 96GB 工作站卡能装下一个完整实例。并发靠多开实例，实例之间不通信，走 DP 就够，不需要 NVLink。所以一批图像和视频模型的商用部署，用工作站卡一两百万预算就能解决，而同样预算连一个 Flash 级语言模型的高并发都撑不住。
6. 三种生产级进阶手段
6.1 KV Cache 分级：显存、内存、闪存
一句话理解：显存不够放 KV Cache 时，把不常用的部分挪到服务器内存，再挪到 NVMe 固态盘，需要时再捞回来。
生活类比：厨师案板上放正在切的菜，冰箱放今天要用的，冷库放本周的。案板最快但最小。
适用场景：多轮对话和长系统提示词。用户第二轮回来时，上一轮的 KV Cache 从内存或硬盘直接读回，不用重新 prefill。这和 推理引擎笔记 § 4.3 讲的前缀缓存是同一件事，只是把缓存池从显存扩展到了三级。
代价：三级带宽差好几个量级。
| 层级 | 带宽 | 容量 |
|---|---|---|
| 显存 HBM | 几 TB/s | 几十到几百 GB |
| 服务器内存 DRAM，经 PCIe | 几十 GB/s | 几百 GB 到几 TB |
| NVMe 固态盘 | 几 GB/s | 几十 TB |
成熟方案：vLLM 的 CPU offload、LMCache、Mooncake（月之暗面开源的 KV Cache 池）、NVIDIA Dynamo 的 KV Block Manager。选型时的判断标准：命中率高不高。如果每次请求的前缀都不一样，分级只会拖慢速度。
6.2 PD 分离：Prefill 和 Decode 拆到不同 GPU 池
一句话理解：处理提示词的阶段吃算力，逐字生成的阶段吃带宽，把两者放到不同的 GPU 上各干各的，中间用高速网络传 KV Cache。
为什么生产环境需要：不分离时，一个用户扔进来 50K token 的长文档，prefill 会占满 GPU 几秒钟，正在生成的其他用户全部卡住。分离后 decode 池不受长 prompt 冲击，TPOT 稳定。
代价：至少两组 GPU，加上传 KV Cache 的高速网络。同一个模型，“PD 不分离的最小方案”和”生产级 PD 分离方案”的节点数可能差两三倍。
6.3 投机解码：草稿模型猜、大模型验
原理见 推理引擎笔记 § 4.4。生产场景补两点：
- 收益取决于草稿模型的质量。通用草稿模型只能翻 1.5 倍；针对目标模型专门训练的草稿模型（如 vLLM 团队用 GB300 集群给 Kimi K3 训的 DSpark），在长上下文上每步能接受 3 到 5 个 token，decode 速度翻 3 倍。
- 显存代价很小。草稿模型只有目标模型的百分之一量级，是所有优化手段里性价比最高的。
7. 卡的谱系补全：Hopper 之上还有什么
NVIDIA 显卡笔记 § 7 选购决策树 到”H100 / H200 集群”为止。生产级部署要往上再看两层。
7.1 按用途分的五类卡
| 类别 | 代表 | 显存 | NVLink | FP8 | FP4 | 用途 |
|---|---|---|---|---|---|---|
| 消费卡 | RTX 4090 / 5090 | 24 / 32 GB | 无 | 有 | 5090 有 | 个人实验，驱动协议禁止数据中心使用 |
| 工作站卡 | RTX Pro 6000 Blackwell、L40S | 96 / 48 GB | 无 | 有 | Pro 6000 有 | 图像视频模型、单卡装得下的语言模型 |
| 数据中心卡，Ampere | A100 | 40 / 80 GB | 有 | 无 | 无 | 上一代主力，只能 BF16 和 INT8 |
| 数据中心卡，Hopper | H100 / H200 | 80 / 141 GB | 有 | 有 | 无 | 当前主力，8 卡一机 |
| 数据中心卡，Blackwell | B200、GB200、GB300 | 约 180 / 192 / 288 GB | 有 | 有 | 有 | 超大 MoE，NVL72 机架 |
7.2 机器形态
| 形态 | 组成 | 适合 |
|---|---|---|
| 单机工作站 | 1 到 4 张工作站卡，PCIe 互联 | 图像视频模型、70B 以下语言模型 |
| 8 卡 HGX 服务器 | 8 张 H100 / H200 / B200，机内 NVLink 全互联 | 单机装得下的模型，TP=8 |
| 多台 8 卡机 | 机间 InfiniBand 或 RoCE | 需要 PP 或 PD 分离的中大 MoE |
| GB200 / GB300 NVL72 机架 | 72 颗 GPU 一个 NVLink 域，液冷 | 万亿参数 MoE 的高并发商用 |
“节点”有两种口径：8 卡 HGX 机里一台就是一个节点；NVL72 机架里一个计算托盘只有 4 颗 GPU。官方部署指南只说”16 张 GB300”，不提节点数。论坛里按 8 卡一节点折算成”2 个 GB300 节点”，按托盘算则是 4 个托盘，谈预算时要先对齐口径。
7.3 合规与供应
高端数据中心卡对国内受出口管制。正规渠道能买到的是算力被削减的特供版，如 H20。这带来三个现实约束：
- 方案里写 H100、B200、GB300 的，要先确认采购渠道是否合规，否则”方案再好也没法用”。
- 灰色渠道的卡没有原厂售后，坏一张卡可能等一个月。生产环境里硬件供应和售后往往比技术方案更关键。
- 国产替代路线（昇腾等）另有一套软件栈，不在本文范围。
8. 估算流程：从模型名到卡数与并发
输入：模型名 + 业务指标（每用户最低 tok/s、TTFT 上限、峰值并发、上下文长度）
↓
步骤 1 查模型卡：总参数、激活参数、发布精度、注意力结构
↓
步骤 2 算权重账：参数量 × 字节数，确定精度对应的最低硬件代际
↓
步骤 3 算 KV Cache 账：按峰值并发 × 上下文长度估，加上权重后除以 0.7
↓
步骤 4 定最低卡数：显存总需求 ÷ 单卡显存，向上取整到 8 的倍数（TP=8 一机）
↓
步骤 5 算带宽账：验证单用户速度上限是否满足业务指标，不够就换带宽更高的卡
↓
步骤 6 查官方 recipes：vLLM Recipes 或 TensorRT-LLM Deployment Guides
对照它给的 TP/EP 配置和 benchmark 表，在并发曲线上找满足指标的点
↓
步骤 7 加进阶手段：并发不够加 PD 分离，速度不够加投机解码，多轮对话加 KV 分级
↓
步骤 8 核对合规与供应：这些卡买得到吗，售后谁管
↓
输出：卡型号 + 卡数 + 节点数 + 预期并发曲线 + 预算区间验收证据：租云上同型号卡，用 vllm bench 或 genai-perf 压测 8 / 32 / 64 并发，把实测的四个指标和步骤 6 的官方表对比。差距超过 30% 说明配置没对齐。
9. 案例复盘：一份真实的商用部署需求
2026 年 9 月某技术论坛上，一位提问者的公司要对外部署一批满血开源模型，给出了两张清单，请大家估最低卡型、卡数和 8 / 32 / 64 并发下的 tok/s。
语言模型清单：GLM-5.3-Flash（原生 FP8）、Qwen3.8-2.4T-A95B（FP8 和 BF16 两版）、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、GLM-5.3、Kimi K3（官方 MXFP4 版和 H200 方案）、MiniMax-M3（BF16）。
图像视频清单：Qwen-Image-2.1、FLUX.2-dev、HunyuanImage-3.0、GLM-Image、Wan2.2、HunyuanVideo-1.5、LTX-2.5。
回帖里有价值的判断，按本文的框架归位：
| 回帖判断 | 对应本文 |
|---|---|
| 先说预算和是否需要合规，否则方案没法用 | § 7.3 |
| 厂商宣传”单 GPU 16000 tok/s”，提问者追问”单并发是这么快吗” | § 3.3，典型的把总吞吐当单用户速度 |
| 引用 NVIDIA 官方 Kimi K3 指南：16 张 GB300、64 并发、每用户 29 tok/s | § 3.2 那张表 |
| 开投机解码 decode 还能翻 3 倍 | § 6.3 |
| PD 不分离最小方案 2 个 GB300 节点，生产级 PD 分离再加 2 到 4 个节点 | § 6.2、§ 7.2 |
| GLM-5.3-Flash 320B FP8 权重 306 GiB，4 张 80GB 装得下但没 KV Cache 空间，实际最低 8 张 H100/H200 TP=8 | § 4.1、§ 4.2 |
| 图像模型一两百万能解决，没有 NVLink 的工作站卡咬牙能干；语言模型基本都得数据中心卡 | § 5.2、§ 5.3 |
| KV Cache 要不要走显存、内存、闪存逐级方案，有成熟方案 | § 6.1 |
| 硬件选型和软件栈都是标准方案，关键是硬件供应和售后 | § 7.3 |
回帖给出的成本分档，单位人民币，仅供量级参考：
| 档位 | 模型 | 硬件形态 | 报价 |
|---|---|---|---|
| 图像视频 | Qwen-Image、FLUX.2、Wan2.2 等 | 若干工作站卡 | 100 到 200 万 |
| Flash 级语言模型 | GLM-5.3-Flash、DeepSeek-V4.1-Flash | 一台 8 卡 H100/H200 | 图像档的 2 到 3 倍 |
| 中大 MoE | GLM-5.3、DeepSeek-V4-Pro、MiniMax-M3 | 多台 8 卡机 | 1000 万以内 |
| 超大 MoE | Kimi K3、Qwen 2.4T | 2 个 GB300 节点起，生产级再加 2 到 4 个 | 2000 到 3000 万起 |
这张表和 HomeLab 笔记 § 9.1 的成本表正好首尾相接：那张到”8 卡 A100 两三百万”为止，这张从那里往上。
10. 常见误区
| 误区 | 为什么错 | 更好的做法 |
|---|---|---|
| 把厂商的总吞吐当成单用户速度 | 总吞吐是几百路并发加总的结果，单用户往往只有几十 tok/s | 任何 tok/s 先问并发数和卡数 |
| 权重装得下就能跑 | KV Cache 随并发和上下文线性增长，没留空间就只能跑一两路 | 权重不超过显存七成 |
| A100 便宜，拿来跑 FP8 模型 | A100 没有 FP8 计算单元 | 见 量化选型笔记坑 1 |
| 工作站卡堆 8 张等于一台 H100 机 | 没有 NVLink，TP 通信走 PCIe，慢十几倍 | 工作站卡只跑单卡装得下的模型 |
| 按官方 benchmark 的卡数买，就能达到表里的数字 | 表是 PD 不分离、无投机解码的基线，生产级还要加节点 | 基线卡数乘 1.5 到 2 做预算 |
| 技术方案定了就万事大吉 | 高端卡的采购合规和售后才是真瓶颈 | 先确认渠道再做方案 |
11. 学习路线
按四层学，每层都有可动手验证的点：
- 会算三笔账（§ 4）：拿任意一个模型的 config.json 手算权重、KV Cache、带宽上限，和官方数字对一遍。
- 认识硬件（§ 5、§ 7）：背下五类卡的显存、带宽、精度支持和有无 NVLink；知道 8 卡机和 NVL72 机架的区别；了解出口管制现状。
- 会用软件栈（§ 6 加三篇前置笔记）：单卡跑起 vLLM，看懂启动日志里的 KV Cache 可用块数；读懂 vLLM Recipes 和 TensorRT-LLM Deployment Guides 里的 TP/EP 配置和 benchmark 表。
- 会做评估（§ 3、§ 8）：用压测工具画出”并发对每用户速度”的曲线，从业务指标反推最小卡数。
最省钱的实践路径：不用买卡。云上按小时租一台 8 卡 H100，用 vLLM 跑一个 Flash 级模型，自己压 8 / 32 / 64 并发，把 § 9 那位提问者的问题亲手答一遍。几百块钱能把前三层全部落地。
12. 与本知识库其他章节的关联
| 相关笔记 | 关系 |
|---|---|
| LLM 推理引擎选型 | 前置。引擎怎么装怎么用；本文的投机解码、TP/EP 是它 § 4 的生产级延伸 |
| 本地部署模型量化选型 | 前置。精度表、KV Cache 公式、FP8 在 Ampere 上的坑都在那里；本文只补并发维度 |
| HomeLab 到中小企业 LLM 部署架构 | 前置。8 卡以内的架构、网关、监控、成本；本文从它的成本表往上接 |
| NVIDIA 显卡架构与 AI 算力 | 前置。带宽瓶颈原理、NVLink 代际、选购决策树；本文把决策树往 Blackwell 和 NVL72 延伸 |
| Dense 与 MoE 架构对比 | 概念基础。总参数和激活参数的区别 |
| DeepSeek | MLA 注意力为什么能把 KV Cache 压小，是 § 4.2 的架构背景 |
| 各家 LLM 模型特点速查 | 平行。§ 9 清单里的模型家族在那里有介绍 |
| LLM-API 选型方法论 | 平行。看完本文的预算表，再回头判断到底该自建还是用 API；它的 § 5.4 从调用方视角讲 RPM / TPM / 并发怎么换算，平台要限你的并发，根源就是本文 § 4.2 的 KV Cache 账 |
13. 术语速查
| 术语 | 全称 | 大白话 |
|---|---|---|
| TTFT | Time To First Token | 首字延迟，发请求到第一个字出来的时间 |
| TPOT | Time Per Output Token | 每个字之间的间隔，越小打字越流畅 |
| ITL | Inter-Token Latency | 和 TPOT 基本同义 |
| TPS/user | Tokens Per Second per user | 单个用户看到的生成速度 |
| 总吞吐 | aggregate throughput | 所有用户加起来每秒出多少字 |
| 并发 | concurrency | 同一时刻有多少个请求在被处理 |
| TP / PP / EP / DP | Tensor / Pipeline / Expert / Data Parallelism | 四种把模型或请求分到多卡的方式，见 § 5.1 |
| TEP / DEP | 注意力 TP 或 DP 加专家 EP | 官方指南里的并行组合命名 |
| PD 分离 | Prefill-Decode Disaggregation | 处理提示词和逐字生成放到不同 GPU 池 |
| KV Cache 分级 | tiered KV cache | KV Cache 放不下时挪到内存和硬盘 |
| 投机解码 | Speculative Decoding | 小模型猜、大模型验，一次出多个字 |
| 草稿模型 | draft model | 投机解码里负责猜的小模型 |
| NVL72 | NVLink 72 | 72 颗 GPU 通过 NVLink 交换机连成一个域的机架 |
| 节点 | node | 一台 8 卡机，或机架里的一个计算托盘 |
| HGX | — | NVIDIA 8 卡数据中心服务器的标准平台 |
| 特供版 | — | 为满足出口管制而削减算力的型号，如 H20 |
| recipes | — | vLLM 和 TensorRT-LLM 官方给每个主流模型的推荐配置和 benchmark |
14. 来源与局限性
14.1 来源
- 技术论坛讨论帖《有没有佬懂模型部署的，公司需要部署主流模型》，linux.do，2026 年 9 月 21 日。§ 9 的需求清单、回帖判断和成本分档来自该帖，回帖者为匿名网友，成本数字是经验估计而非报价单。
- NVIDIA TensorRT-LLM 官方文档《Deployment Guide for Kimi K3 on TensorRT LLM - Blackwell》，§ 3.2 的 benchmark 表直接引自该页。
- vLLM 官方博客《How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72》，2026 年 9 月 15 日，§ 6.3 关于草稿模型收益的数据来自该文。
- 显存带宽、NVLink 带宽等硬件参数来自 NVIDIA 官方规格，整理时间 2026 年 9 月。
14.2 局限性
| 维度 | 说明 |
|---|---|
| 时效性 | 卡的型号、显存、价格和出口管制政策变化很快。本文整理于 2026-09-22，一年后 § 7 的表和 § 9 的报价都需要复核 |
| 数据来源 | § 9 的成本分档是论坛网友的经验判断，不是采购报价。量级可信，具体数字不可信 |
| 覆盖范围 | 只讲 NVIDIA 路线。AMD、国产算力（昇腾等）的生产级部署有另一套软件栈，未涉及 |
| 未实测 | § 4.3 的带宽上限是理论公式，§ 8 的流程未在真实集群上跑过。读者按 § 11 的建议租卡验证后，欢迎回填实测数据 |
| 图像视频模型 | 只讲了”为什么便宜”的逻辑，没有给出具体模型的显存和并发估算 |
最后更新：2026-09-22