Study note
Transformer Inference Arithmetic
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- ML 系统与规模化
- Source
- kipp.ly
- Vault note
library/articles/ai_ml/Transformer-Inference-Arithmetic-9913df6419bf0fb8.md
Summary
从计算量、显存容量、内存带宽和跨设备通信出发，估算 Transformer 推理的性能边界以及 batch size 带来的变化。
Highlights
适合作为选读材料，用数量级估算判断推理过程更可能受计算、访存还是通信限制。
Comments
Loading comments...