Study note
Mastering LLM Techniques: Inference Optimization
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- LLM 推理与服务
- Source
- developer.nvidia.com
- Vault note
library/articles/ai_ml/Mastering-LLM-Techniques-Inference-Optimization-373619dfb2a2ff2e.md
Summary
NVIDIA 对 LLM 推理优化的全景介绍，涵盖 prefill/decode、KV Cache、模型并行、注意力优化、PagedAttention、量化、批处理和投机推理。
Highlights
适合先建立推理阶段、显存占用与常见优化手段之间的整体关系。
Comments
Loading comments...