Study note
Inference Engineering
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- LLM 推理与服务
- Source
- inferenceengineering.tech
- Vault note
library/articles/ai_ml/Inference-Engineering-71a64ba407a3204e.md
Summary
基于 Philip Kiely 2026 年出版的同名书，使用 8 章覆盖推理工程三层架构、需求与 SLO、LLM/扩散模型瓶颈、GPU 与加速器、CUDA 和推理引擎、量化与 speculative decoding、KV Cache、模型并行与 P/D 解耦、多模态推理，以及容器化、自动扩缩容、多云部署和可观测性。
Highlights
提供 Getting Started、Infrastructure Architect、Performance Optimizer 三条学习路径，以及动画图解、VRAM/KV Cache/算术强度计算器、benchmark、速查表和 100 多道测验。适合先用交互内容建立直觉，再把对应章节映射到当前 18 周 AI inference 路线中的实验任务。
Notes
从 GPU kernel 到生产扩缩容的交互式 AI 推理工程教程。
Comments
Loading comments...