推测解码精读
从接受率为什么是无损的写起，经过草稿模型、Medusa 和 EAGLE，到不训练草稿模型的路线和上线验收。
- 投机采样与推测解码：6 篇精读笔记总览
量化是「有损换速度」，推测解码是「无损提速度」，两者是 LLM 推理优化互补的两条主线。这份总览给出 6 篇精读笔记的阅读顺序、每章要点与配套论文，帮你建立完整的推理加速决策框架。 - 投机采样为什么是无损的？接受率与期望 token 公式推导
自回归解码慢的结构性原因是因果依赖浪费了 GPU 并行能力，「草稿 + 并行验证」正好把它补回来。本文从定义推导期望接受 token 数 E[N]=(1-α^(K+1))/(1-α) 与墙钟加速比公式，并解释拒绝采样后输出分布为何依然无损。 - 投机采样原理是什么？草稿模型与拒绝采样怎么配合
完整写出投机采样算法：小模型草稿 K 个 token，大模型一次前向并行验证，再用拒绝采样做修正。本文证明无损性定理（输出分布严格等于目标分布，且与草稿质量无关），推导最优草稿长度 K*，并列出工程实现里最容易破坏无损性的几个坑。 - Medusa 是什么？多头解码为什么能加速 LLM 推理
Medusa 在模型上挂多个解码头，一次预测多个后续位置，再用树注意力并行验证候选路径。本文写出 head 结构与树掩码规则，用覆盖率模型推导期望接受长度，说明典型验收与拒绝采样的区别，以及树大小为什么存在最优值。 - EAGLE 推测解码为什么比 Medusa 快？（含 EAGLE-2 动态草稿树）
Medusa 在 token 层做自回归，每次采样都会引入新的歧义；EAGLE 把草稿搬到特征层，用 shifted-token 输入消除分支歧义，因此接受率更高。本文给出草稿模型结构与训练损失，证明每轮首个草稿 token 接受概率恒为 1，并讲清 EAGLE-2 的动态草稿树。 - n-gram 投机采样怎么做？不用草稿模型的加速方案
Prompt Lookup、Lookahead Decoding、REST 都不训练草稿模型，而是从 n-gram 或检索库里取候选，再交给目标模型并行验证。本文比较三种「记忆来源」的差异，解释 Lookahead 为什么能把 Jacobi 迭代救活，以及这类方法在什么任务上才真的赢。 - 推测解码上线怎么验收？接受率与加速比怎么测
用「每步成本 × 步数」的双因子模型解释量化和推测叠加时收益为什么会被稀释，拆解 TTFT 与 TPS 各自吃哪类优化，给出一份包含无损性验证、质量评测、性能指标与组合矩阵的生产验收协议，并列出集成时最常见的坑。