Study note
从零手搓 SGLang（Zero to SGLang）
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- LLM 推理与服务
- Source
- github.com
- Vault note
library/articles/ai_ml/从零手搓-SGLang(Zero-to-SGLang)-fafa6f09de5c9a4d.md
Summary
一套中英双语的大模型推理实践课程：先建立 KV Cache、prefill/decode、Roofline 与性能指标等基础，再从零实现 mini-SGLang，逐步加入 HTTP 服务、连续批处理、Paged KV Cache、RadixAttention、张量并行和投机解码，最后进入真实 SGLang 源码与贡献流程。
Highlights
路线从概念、动手实现一路连接到生产级推理框架，既避免直接啃大型源码，也不止停留在原理介绍。后续章节还覆盖量化、Attention 后端、分层缓存、并行扩展和 Prefill-Decode 分离。
Comments
Loading comments...