Study note

BasicCUDA

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: GPU、CUDA 与内核优化
Source: github.com
Vault note: library/articles/ai_ml/BasicCUDA-8fa51f6a4cd06bda.md

Summary

CalvinXKY 的 CUDA 与 PyTorch 教程仓库，使用 CUDA C++、Triton 和 Notebook 讲解 GPU 执行模型、矩阵乘、归约、Softmax、NCCL、非确定性归约以及 PyTorch 显存管理等主题，并配有可运行代码。

Highlights

与 InfraTech 的推理框架内容互补，适合把面试中的 row max、GEMM、Softmax、NCCL 拓扑和浮点确定性问题落成练习。建议先做线程映射与 reduction，再做 GEMM、融合 Softmax，最后阅读 NCCL 和非确定性案例。

Comments

Loading comments...