量化

2026

LLM 量化精读笔记 · 11 系统协同与部署：QServe、FP8 Attention 与工程工具

··

LLM推理优化量化

LLM 量化精读笔记 · 10 质量评估方法论：perplexity、基准与自定义评测

··

LLM推理优化量化

LLM 量化精读笔记 · 09 QAT 与训练内量化：STE、QLoRA、BitNet b1.58

··

LLM推理优化量化

LLM 量化精读笔记 · 08 KV Cache 量化：KIVI 与误差累积

··

LLM推理优化量化

LLM 量化精读笔记 · 07 激活量化：LLM.int8() 与 SmoothQuant（W8A8）

··

LLM推理优化量化

LLM 量化精读笔记 · 06 权重量化 II：AWQ、SqueezeLLM、QuIP#

··

LLM推理优化量化

LLM 量化精读笔记 · 05 权重量化 I：RTN 与 GPTQ（含二阶误差补偿推导）

··

LLM推理优化量化

LLM 量化精读笔记 · 04 量化粒度、校准与离群值

··

LLM推理优化量化

LLM 量化精读笔记 · 03 数值格式：FP16 / BF16 / FP8 / FP4 / MXFP8 / NVFP4 与硬件

··

LLM推理优化量化

LLM 量化精读笔记 · 02 量化问题的形式化与均匀量化理论

··

LLM推理优化量化

1
2
→