Study note
Data Layout and Its Notation
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- GPU、CUDA 与内核优化
- Source
- mlc.ai
- Vault note
library/articles/ai_ml/Data-Layout-and-Its-Notation-862d04f435be394a.md
Summary
从 shape-stride model 和 tile layout 建立“逻辑索引到物理位置”的统一 layout function，随后用 named axes 表达 Blackwell 二维 TMEM 地址空间和 Tensor Core register fragment，再用 replication 与 offset 描述 TMEM scale-factor 广播、多 GPU mesh 中的数据副本，最后介绍 shared-memory XOR swizzle。
Highlights
把 coalescing、shared-memory bank conflict、Tensor Core 所需字节排列、TMEM lane/column 和寄存器分片放进同一套记号中，并提供可交互的地址计算图。适合在 tiled matmul 之后、CuTe layout algebra 和 Blackwell TMA/TMEM kernel 之前精读。
Notes
MLC 现代 GPU 编程课程的数据布局专题。
Comments
Loading comments...