Study note

Outperforming cuBLAS on B200

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: GPU、CUDA 与内核优化
Source: paulwillchan.com
Vault note: library/articles/ai_ml/Outperforming-cuBLAS-on-B200-f13a0ba16356e49c.md

Summary

Paul Chan 从一个基于 TMA 和 Tensor Core 的初始矩阵乘 kernel 出发，在 B200 上依次加入 2-CTA MMA、流水线、warp specialization、persistent kernel、Tensor Memory 双缓冲、epilogue 优化、Hilbert curve 调度和 Cluster Launch Control，并比较各阶段与 cuBLAS 的性能。

Highlights

把 Blackwell 的 Tensor Memory、`tcgen05.mma`、thread block cluster、异步 TMA/MMA 和动态任务调度落实到完整优化过程。作者报告最终 BF16 kernel 在 `M=N=K=8192` 的测试中达到 cuBLAS 性能的 106%；适合完成 tiled GEMM、TMA、warp specialization 和 profiling 基础后进阶阅读。

Notes

利用 NVIDIA Blackwell 特性逐步优化 BF16 GEMM kernel。

Comments

Loading comments...