Study note
Notes About Nvidia GPU Shared Memory Banks
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- GPU、CUDA 与内核优化
- Source
- feldmann.nyc
- Vault note
library/articles/ai_ml/Notes-About-Nvidia-GPU-Shared-Memory-Banks-e69de3eaeab60242.md
Summary
Axel Feldmann 用一组 CUDA microbenchmark 分析 NVIDIA GPU shared memory 的 bank 映射、冲突代价、向量化 load 的硬件调度，以及 multicast 如何在某些访问模式下提升每个线程看到的数据吞吐。
Highlights
适合接在 tiled matmul/shared memory 入门之后阅读，帮助理解为什么 GPU kernel 优化不能只看“用了 shared memory”，还要看 bank 访问模式、warp 内 lane 映射和向量化指令。
Notes
NVIDIA shared memory banks、bank conflict 和 vector load 微基准笔记。
Comments
Loading comments...