LLM推理优化

2026

LLM 量化精读笔记 · 08 KV Cache 量化：KIVI 与误差累积

··

LLM推理优化量化

LLM 量化精读笔记 · 07 激活量化：LLM.int8() 与 SmoothQuant（W8A8）

··

LLM推理优化量化

LLM 量化精读笔记 · 06 权重量化 II：AWQ、SqueezeLLM、QuIP#

··

LLM推理优化量化

LLM 量化精读笔记 · 05 权重量化 I：RTN 与 GPTQ（含二阶误差补偿推导）

··

LLM推理优化量化

LLM 量化精读笔记 · 04 量化粒度、校准与离群值

··

LLM推理优化量化

LLM 量化精读笔记 · 03 数值格式：FP16 / BF16 / FP8 / FP4 / MXFP8 / NVFP4 与硬件

··

LLM推理优化量化

LLM 量化精读笔记 · 02 量化问题的形式化与均匀量化理论

··

LLM推理优化量化

LLM 量化精读笔记 · 01 数值编码与计算机表示基础（信息论 · 整数 · IEEE 754 · 舍入与截断）

··

LLM推理优化量化

LLM 量化精读笔记 · 00 总览与学习地图

··

LLM推理优化量化

LLM 推理优化 · 量化（Quantization）系统学习笔记

··

LLM推理优化量化

←
1
2
3