Study note

Automatic Prefix Caching

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: LLM 推理与服务
Source: docs.vllm.ai
Vault note: library/articles/ai_ml/Automatic-Prefix-Caching-a6e5b84ec046e810.md

vLLM 官方文档对自动前缀缓存的机制、适用场景、限制和配置方式进行说明。

能直接连接共享前缀、重复请求与 KV block 复用，是生产推理优化的重要实践资料。

Loading comments...