Study note

NCCL User Guide

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: ML 系统与规模化
Source: docs.nvidia.com
Vault note: library/articles/ai_ml/NCCL-User-Guide-1d936cd282bc2cf7.md

Summary

NVIDIA NCCL 官方用户指南，介绍 communicator、stream 语义、AllReduce、AllGather、ReduceScatter、AllToAll 等集合通信，以及多 communicator、异步错误、注册、拓扑、网络、RAS 与故障排查机制。

Highlights

适合把 TP、DP 和 EP 中抽象的 collective 映射到真实链路。学习时先用 4 张卡画出每种操作的输入输出，再阅读 GPU-to-GPU、GPU-to-NIC、接口选择、日志与 active diagnostics，形成多卡卡死的系统排查顺序。

Comments

Loading comments...