LLM 注意力与计算内核精读笔记 · 07 系统集成与生产验收
对应：本系列 01–06 章的工程综合；vLLM / SGLang / TensorRT-LLM 实践；量化系列 10 章（质量评估）与 11 章（系统部署）方法论。本系列的系统集成章。 前置：01–06 章全部内容。学完本章你应该能：① 画出"注意力优化四层次"（维度/内容/布局/内核）与"推理三因子"（每步成本 × 步数 × 单步内部效率）的组合框架；② 给长上下文系统列出一份完整组件清单；③ 区分"精确"与"近似"的注意力优化并分别设计验收；④ 手算一个"量化 + GQA + 推测"端到端收益算例；⑤ 按四类业务场景给出技术选型与验收协议。
目录（本章） #
- 本章目标
- 全系列回顾：注意力优化的四个层次
- 组合框架：推理三因子
- 长上下文系统的组件清单
- 精确 vs 近似：注意力优化的分类
- 验收协议
- 决策树：四类场景
- 数值算例：端到端组合收益
- 实现细节与坑
- 本章小结与系列收尾
- 习题与解答
- 延伸阅读
2. 全系列回顾：注意力优化的四个层次 #
维度（03 章）：每 token 存多少 KV —— MQA / GQA / MLA
内容（04 章）：存哪些 token —— 滑窗 / H2O / StreamingLLM
布局（05/08 章）：怎么存放与共享 —— PagedAttention / COW / 前缀缓存
内核（02/06 章）：怎么算得快 —— FlashAttention / 融合 / FP8
四层正交，可以叠加：MLA 压维度 → H2O 挑内容 → 分页管布局 → FlashAttention/FP8 提速计算。
3. 组合框架：推理三因子 #
结合三个系列，端到端延迟可写成：
$$ \text{总墙钟} \approx \underbrace{\text{每步成本}}_{\text{量化}} \times \underbrace{\text{步数}}_{\text{推测解码}} \times \underbrace{\text{单步内部效率}}_{\text{注意力与内核（本系列）}} $$但要小心重复计算：
量化（W4A16）：权重搬移减半 → 每步成本 ÷2
GQA/MLA：KV 搬移减为 1/8~1/57 → 每步成本再降（长上下文时显著）
FlashAttention：省 IO、提利用率 → prefill 变快
推测解码：步数 ÷2~3.5
端到端 = 各因子乘积，但 KV 与权重的节省不能叠加计数（见第 8 节算例）
4. 长上下文系统的组件清单 #
一份"能支撑 128K 上下文、高并发"的组件清单：
① 计算内核：FlashAttention-2/3（prefill）+ 高效 decode 内核
② KV 维度：GQA 或 MLA（长上下文标配）
③ KV 布局：PagedAttention 分页 + 前缀缓存 + COW 共享
④ KV 数值：KV8/KV4 量化（显存再降，需验收）
⑤ 权重：W4A16 或 W8A8（每步带宽减半）
⑥ 调度：连续批处理 + 抢占（vLLM/SGLang/TensorRT-LLM）
⑦ 可选近似：StreamingLLM/H2O（显存或延迟再压一档，接受质量代价）
5. 精确 vs 近似：注意力优化的分类 #
| 方法 | 类别 | 说明 |
|---|---|---|
| FlashAttention 1/2/3 | 精确 | 结果逐位等价（浮点舍入内） |
| MQA/GQA/MLA | 精确（架构不同） | 不近似注意力，只改参数量/表示 |
| PagedAttention/前缀缓存 | 精确 | 只改存放，不改计算 |
| 滑窗 / StreamingLLM / H2O | 近似 | 硬性截断/驱逐信息 |
| FP8 注意力 | 近似 | 低精度（块级量化可缓解） |
| 线性注意力 / Mamba | 架构不同 | softmax 被替换/全新架构 |
验收第一条铁律：精确类可以直接上线（性能验收即可）；近似类必须过质量关，且要在"最坏场景"（超长、超预算）下测。
6. 验收协议 #
6.1 质量验收（近似类必做） #
perplexity：最便宜，但只反映"分布像不像"
长程任务：LongBench / LRA / 多跳问答（验证"被截断/驱逐的信息真的不重要"）
任务 benchmark：HumanEval / MMLU / 定制评测
压力测试：长度超出训练长度、KV 预算减半时，质量退化曲线必须可接受
6.2 性能验收 #
| 指标 | 关注点 |
|---|---|
| TTFT | prefill 内核（FA/FP8）的效果 |
| TPS | decode 带宽（KV 维度/布局/量化）的效果 |
| 显存峰值 | KV 是否成为 batch 瓶颈（分页后看实际利用率） |
| 吞吐（req/s） | 组合后的服务级收益 |
| P99 | 长尾（驱逐/抢占可能引入抖动） |
6.3 组合矩阵 #
不要只测单因子：
MHA GQA/MLA
BF16 + FA （基线） 质量+性能
W4A16 + FA 质量+性能 质量+性能 ← 上线候选
W4A16KV4 + FA 质量+性能 质量+性能
+ 推测解码 每格再叠步数因子
每个有损项（量化、FP8、驱逐）单独与组合都要测——误差会复合（量化系列 10 章的结论在这里同样适用）。
7. 决策树：四类场景 #
长上下文问答（单请求长 prompt，延迟敏感）：
→ FA3/FP8（prefill）+ MLA/GQA + 分页 + 前缀缓存
高并发在线服务（吞吐优先）：
→ vLLM 分页 + 连续批处理 + W4A16 + GQA
→ 推测解码按实测收益决定
端侧 / 小显存（8GB 级）：
→ W4A16KV4 + GQA/MLA + 滑窗/StreamingLLM（必要时）
研究 / 训练：
→ FA2/FA3 + torch.compile；长序列实验用线性注意力/Mamba 作对照
8. 数值算例：端到端组合收益 #
7B、decode、$L=4K$、HBM 带宽 2TB/s。基线每步：
$$ \text{搬移} = 13\ \text{GB（权重）} + 2\ \text{GB（KV，MHA）} = 15\ \text{GB} $$$$ t_{\text{step}} = 15/2000 = 7.5\ \text{ms} $$逐层叠加（每一步的搬移都要重新算，不能重复计）：
| 步骤 | 搬移 | 每步时间 | 累计 |
|---|---|---|---|
| 基线（MHA） | 15 GB | 7.5 ms | 1.0x |
| + GQA（KV 2→0.5 GB） | 13.5 GB | 6.75 ms | 1.11x |
| + W4A16（权重 13→6.5 GB） | 7.0 GB | 3.5 ms | 2.14x |
| + 推测解码（步数 ÷3） | — | 有效 1.17 ms | 6.4x |
关键点：
GQA 省的是 KV 部分（基线里只占 13%），所以单独看收益小；
但上下文越长（32K/128K）KV 占比越大，GQA 收益越大（01 章）
量化省权重（占比 87%）→ 与 GQA 互补，各赚各的
推测在步数维度上叠加 → 三因子乘积成立
9. 实现细节与坑 #
- 把近似当精确：FP8/驱逐/线性注意力上线前必须过质量关。
- 只测短序列：长上下文下 KV 占比、注意力 FLOPs 都变，短序列结论会误导。
- 只测单请求：批处理下显存与调度行为完全不同。
- 组合收益重复计算：权重与 KV 的节省分开记账（第 8 节）。
- KV 显存不测：分页后看"实际利用率"，而不是"分配了多少"。
- 用错基线：与生产引擎（vLLM/TensorRT-LLM）同配置对比，别拿 eager PyTorch 比。
- 误差复合不验收：量化 × FP8 × 驱逐叠在一起，必须组合矩阵全测。
- 内核与硬件不匹配：FA3 需要 Hopper+，FP8 需要对应张量核；换卡要重测。
10. 本章小结与系列收尾 #
- 四层次：维度、内容、布局、内核，正交可叠加。
- 三因子：每步成本（量化）× 步数（推测）× 单步内部效率（本系列）。
- 精确/近似分类决定验收深度；组合矩阵防误差复合。
- 决策树：长上下文/高并发/端侧/研究各有最优组合。
系列收尾：00–08 一句话记忆 #
00 地图：注意力是"单步内部"的主战场，与量化/推测正交
01 基础：4L²d 的 FLOPs、KV 账本、prefill 计算密集 vs decode 带宽密集
02 FlashAttention：中间矩阵不落地，online softmax 保证精确，IO 最优
03 MQA/GQA/MLA：把每 token 的 KV 从 h 份砍到 1 份或一个潜向量
04 稀疏/线性：少看（窗口/驱逐）或换核（线性/SSM），都是近似
05 PagedAttention：像 OS 分页一样管 KV，碎片趋零、可共享
06 内核：Roofline 判瓶颈，融合 + Tensor Core + FP8 逼近 GEMM 效率
07 集成：四层次 × 三因子，精确类直接上，近似类过质量关
08 前缀缓存：KV 只依赖前缀——radix tree 记住 KV，命中率 h 省 h 的 prefill
一句话记忆（全系列）：“注意力优化的五把钥匙——存少点（03）、看少点（04）、排好点（05）、记住点（08）、算快点（02/06）——最后用一份’精确还是近似’的验收协议把它们拧成一个系统。”
11. 习题与解答 #
题 1（推导）：组合不重复计数 #
说明为什么"GQA 省 4 倍 + 量化省 2 倍 = 8 倍"是错的，给出正确的合并方式。
题 1 解答
两个优化作用在不同的搬移项上：GQA 减 KV、量化减权重，总搬移 $= \text{权重}/q_w + \text{KV}/q_{\text{kv}}$，不是 $\text{总量}/(q_w q_{\text{kv}})$。只有把总搬移按权重/KV 分开记账再相加，才能得到正确的端到端收益（第 8 节表）。
题 2（计算）：128K 上下文的 KV 账本 #
7B（32 层、$d=4096$）：MHA vs GQA-8 在 128K 上下文各占多少显存？KV 占比分别多少（权重 13GB）？
题 2 解答
MHA：$2\times32\times4096\times2 = 512$ KB/token $\times 131072 = 64$ GiB（权重 13GB 的 4.9 倍）；GQA-8：$2\times32\times8\times128\times2 = 128$ KB/token $\times 131072 = 16$ GiB（约 1.2 倍）。长上下文下 KV 是显存主项——这也是 03 章 MLA 出场的理由。
题 3（设计）：长上下文系统验收清单 #
给"128K 上下文 + GQA + W4A16KV4 + 前缀缓存"组合列一份不少于 8 项的验收清单。
题 3 解答要点
① LongBench/多跳 QA 质量（短/中/长三档长度）；② 超训练长度的压力测试（如 256K 截断行为）；③ perplexity；④ TTFT/TPS/P99；⑤ 显存实际利用率（分页后）；⑥ KV4 量化对长上下文质量的影响；⑦ 前缀缓存命中率与收益；⑧ 与生产引擎基线同配置对比；⑨ 组合矩阵 {BF16, W4A16} × {KV8, KV4} 全测。
题 4（思考）：精确 vs 近似 #
把 01–06 章的方法按"精确/近似/架构不同"分类，并说明每类的验收深度差异。
题 4 解答要点
精确：FlashAttention、PagedAttention、前缀缓存、MQA/GQA/MLA（架构不同但非近似）——验收只看性能；近似：滑窗、H2O、StreamingLLM、FP8 注意力——必须质量 + 最坏场景验收；架构不同：线性注意力、Mamba——按新模型走完整评测。
题 5（决策）：四场景选型 #
分别为 ① 128K 长文档问答、② 千万 DAU 聊天、③ 端侧 8GB 跑 7B、④ 训练 1M token 实验模型，给出技术组合与理由。
题 5 解答要点
① FA3/FP8 + MLA/GQA + 分页 + 前缀缓存（prefill 与 KV 双瓶颈）；② vLLM 分页 + 连续批处理 + W4A16 + GQA，推测按实测（吞吐优先）；③ W4A16KV4 + GQA/MLA + 必要时 StreamingLLM（显存上限）；④ FA2/3 + 长序列用线性注意力/Mamba 作对照（研究）。
题 6（编程）：组合收益敏感性 #
写脚本：输入（权重 GB、KV GB/token、上下文、量化比、KV 压缩比、推测倍数），输出端到端加速比；扫"上下文长度"与"KV 压缩比"两个维度，回答"什么时候 KV 优化比权重量化更值钱"。
题 6 解答要点
端到端每步时间 $= (\text{weights}/q_w + L\times\text{KV}_{\text{per-token}}/q_{\text{kv}})/\text{BW}$，再除以推测倍数。扫表会发现：KV 占比随 $L$ 线性上升，超过权重后 KV 压缩的边际收益反超量化——临界点就是 01 章"KV 读取反超权重读取"的长度。
12. 延伸阅读 #
- vLLM 文档：分页、前缀缓存、推测解码、量化的生产集成。
- SGLang（arXiv:2312.07104）：RadixAttention 前缀缓存。
- TensorRT-LLM：融合内核、FP8 注意力的生产实现。
- 量化系列 10 章（质量评估方法论）：本章验收协议的方法论基础。
- 上一篇： 06 内核优化与算子融合。本系列完结。