Study note

Continuous Batching for LLM Inference

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: LLM 推理与服务
Source: anyscale.com
Vault note: library/articles/ai_ml/Continuous-Batching-for-LLM-Inference-c66f8e95bfbf2427.md

解释连续批处理如何在请求完成时动态补入新请求，以提升 LLM 推理吞吐并减少空闲计算。

用服务负载视角对比静态批处理，便于理解 vLLM 等系统的调度基础。

Loading comments...