Study note
A Visual Guide to Quantization
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- 模型压缩与量化
- Source
- newsletter.maartengrootendorst.com
- Vault note
library/articles/ai_ml/A-Visual-Guide-to-Quantization-953f52908906b21e.md
Summary
从二进制与浮点数表示、模型显存约束和 FP32/FP16/BF16/INT8 开始，通过图示解释对称与非对称量化、scale 与 zero point、范围映射、clipping 和 calibration，再延伸到动态/静态量化、4-bit、GPTQ、GGUF、BitNet，以及权重和激活量化。
Highlights
重点不是罗列量化格式，而是直观展示连续浮点值如何映射到有限整数区间，以及精度、范围、内存和计算速度之间的权衡；适合在阅读 vLLM、GGUF 或量化 kernel 实现前打基础。
Notes
Maarten Grootendorst 的大模型量化可视化教程。
Comments
Loading comments...