Study note
ParallelKittens: Simple and Fast Multi-GPU AI Kernels
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- ML 系统与规模化
- Source
- hazyresearch.stanford.edu
- Vault note
library/articles/ai_ml/ParallelKittens-Simple-and-Fast-Multi-GPU-AI-Kernels-d4a2b382124c7077.md
Summary
介绍 ParallelKittens 如何扩展 ThunderKittens，以复用组件构建多 GPU AI kernel，并重叠计算与通信。
Highlights
结合 NVLink、NVSwitch 和 TMA 展示现代多 GPU kernel 的设计原则与性能结果。
Comments
Loading comments...