Study note

AI Infra 入门阅读清单：大模型推理

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: LLM 推理与服务
Source: x.com
Vault note: library/articles/ai_ml/AI-Infra-入门阅读清单-大模型推理-17b3c5c51f20d4cf.md

美研芒格君整理的 AI Infra 入门阅读清单，以大模型推理为主线，覆盖 KV Cache、连续批处理、请求调度、推理优化和性能评测。

适合作为阅读入口：先建立 vLLM 的系统全貌，再分别补充批处理、GPU 推理优化、基准指标和性能算术。

Loading comments...