量化精读
从数值编码和均匀量化出发，走到权重量化、激活量化、KV Cache、质量评估和部署。章节按学习顺序排列。
一页规则，不含推导： 量化速查。英文目录： English summary。
- LLM 推理优化 · 量化（Quantization）系统学习笔记
LLM 量化（Quantization）系统学习笔记：从 FP8/FP4 数字格式、量化粒度与敏感性排序，到 GPTQ、AWQ、SmoothQuant、KIVI、BitNet 方法谱系。生产默认配方：W8A8 FP8 是甜点、KV cache 谨慎量化、attention 保持高精度，附质量评估三板斧与 MIT 6.5940 课程清单。 - LLM 量化从入门到部署：11 篇精读笔记总览
LLM 量化完整学习地图：从信息论与数值编码、均匀量化误差公式，到 RTN/GPTQ/AWQ、SmoothQuant、KV Cache 量化，再到 QServe 与 vLLM 部署验收，11 篇精读笔记的阅读顺序与每章要点速览。 - INT8 和 FP16 有什么区别？量化前的数值编码基础
量化的本质是决定一个数用多少 bit、以什么格式表示。本文从信息论、整数补码、IEEE 754 浮点位布局讲到六种舍入模式，解释量化为什么用 round-half-even，以及截断噪声为什么是舍入的 4 倍。 - 量化误差是怎么算出来的？均匀量化公式推导
把任意量化方法拆成编码器、解码器、误差三部分，推导对称与非对称均匀量化的正向与反向公式，解释「位宽每减 1、SNR 涨约 6 dB」，并说明为什么范围利用率是量化的第一性原理。 - FP16、BF16、FP8、FP4 有什么区别？该选哪种数值格式
从位布局推导 FP16/BF16/FP8（E4M3、E5M2）/FP4/MXFP8/NVFP4 的动态范围与精度，说明 E4M3 和 E5M2 各自适合什么场景、块缩放到底解决了什么问题，并用带宽模型手算 70B 模型 decode 每 token 的最少耗时。 - 量化粒度怎么选？为什么离群值会让 INT8 精度崩掉
per-tensor、per-channel、per-group 的有效位宽和存储开销差多少？校准集怎么选、统计量用 min/max 还是分位数？本文用 LLM.int8() 的离群值统计说明 INT8 什么情况下会崩，并给出粒度、校准、outlier 的决策表。 - RTN 和 GPTQ 有什么区别？权重量化方法怎么选
RTN 直接四舍五入，实现最简单但 4-bit 下误差明显；GPTQ 把目标从「最小化逐元素误差」升级为「最小化层输出误差」，用 OBS/OBQ 的二阶补偿逐列校正。本文完整推导补偿公式并手算一个 2×2 例子。 - AWQ 量化原理是什么？和 GPTQ、SqueezeLLM 怎么选
AWQ 的核心观察是只有约 1% 的权重显著，而且要看激活幅度而不是权重幅度，再通过逐通道缩放把误差压下去。本文推导缩放减误差公式，对比 AWQ、GPTQ、SqueezeLLM、QuIP# 的无重建与二阶补偿取舍。 - 激活量化为什么比权重量化难？LLM.int8() 与 SmoothQuant 原理
权重是静态的，激活是动态的还会出现极大的离群值，所以 W8A8 比 weight-only 难得多。本文讲 LLM.int8() 的向量级量化与混合精度分解、SmoothQuant 的等效变换与 s_j 公式推导，以及缩放折叠为什么让 W8A8 零运行时开销。 - KV Cache 量化怎么做？KIVI 与「量化还是压缩」的区别
KV Cache 是长上下文推理的显存大头，而 KV 量化误差会逐 token 累积。本文手算 KV 显存公式，讲 KIVI 的两个核心洞察（Key 按通道量化、Value 按 token 量化）与非对称 2-bit 流式量化实现，并辨析 KV 量化与 KV 压缩的区别。 - QAT 什么时候才值得做？PTQ、QLoRA、BitNet 路线对比
量化函数不可导，STE 用直通估计器把梯度放过去。本文手推一个完整的反向传播例子，讲清 QLoRA 的 NF4、双重量化与 paged optimizer，解释 BitNet b1.58 的三值化设计，并对比 PTQ/QAT/QLoRA/BitNet 四条路线各自适用什么场景。 - 量化后精度掉了怎么定位？perplexity 与评测怎么用
只跑一个 perplexity 数字不足以判断量化能不能上线。本文给出「困惑度 → 智能基准 → 自定义评测」的三层验收协议，解释「与噪声不可区分」如何操作化成多次运行与配对比较，并列出量化评测最容易踩的坑。 - 量化模型怎么部署到 vLLM？QServe 与 FP8 Attention 实践
量化算法好不等于端到端快，反量化、内存布局和 kernel 实现会吃掉大部分收益。本文讲 QServe 的 W4A8KV4 协同设计为什么是 W4A8，给出 vLLM / TensorRT-LLM / llama.cpp 的量化支持地图，并给出一份部署决策树。