Study note
Transformers Cache Strategies
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- LLM 推理与服务
- Source
- huggingface.co
- Vault note
library/articles/ai_ml/Transformers-Cache-Strategies-6522438456c84243.md
Summary
Hugging Face Transformers 对 KV cache 原理和多种缓存策略的官方说明。
Highlights
把缓存增长、内存占用和生成性能联系起来，并提供可直接实践的库级接口。
Comments
Loading comments...