Study note
What happens when you run a CUDA kernel
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- GPU、CUDA 与内核优化
- Source
- fergusfinn.com
- Vault note
library/articles/ai_ml/What-happens-when-you-run-a-CUDA-kernel-322c84c46bbaa5c0.md
Summary
Fergus Finn 的长文从一个 vector add kernel 出发，追踪 `nvcc` 如何生成 PTX/SASS/fatbin、host launch stub 如何打包参数、CUDA runtime/driver 如何通过 pushbuffer、GPFIFO、QMD 和 doorbell 把任务交给 GPU，再一路讲到 work distributor、SM、warp 调度和指令执行。
Highlights
很适合把 `<<<grid, block>>>`、PTX/SASS、driver launch、QMD、SM/warp 这些平时分散的概念串成一条真实执行路径，对读 vLLM/TensorRT-LLM 的 kernel 调用链和 profiling 结果很有帮助。
Notes
CUDA kernel launch 从编译到执行的底层全链路解析。
Comments
Loading comments...