Study note

Deep Dive on the Hopper TMA Unit for FP8 GEMMs

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: GPU、CUDA 与内核优化
Source: pytorch.org
Vault note: library/articles/ai_ml/Deep-Dive-on-the-Hopper-TMA-Unit-for-FP8-GEMMs-b9e2c8b18abf98a2.md

Summary

解释 Hopper Tensor Memory Accelerator 如何异步、双向搬运 1D-5D tensor，并通过 tensor map、TMA descriptor、arrival barrier、multicast 和 warp-group producer/consumer 流水线降低地址计算与寄存器压力；文章随后在 Triton 中实现 FP8 GEMM，并用 PTX 与 Nsight Compute 分析 TMA 和非 TMA kernel。

Highlights

不仅展示 TMA 如何提升 kernel 内的 global-memory throughput，还比较 Triton 与 CUTLASS 在 warp specialization、descriptor prefetch 和 descriptor 传递方式上的差异，指出 kernel throughput 与端到端延迟可能得出相反结论。适合掌握 Triton matmul、异步流水线和基础 profiling 后精读。

Notes

PyTorch 团队对 H100 TMA 与 Triton FP8 GEMM 的实现和性能分析。

Comments

Loading comments...