Study note

NCCL Tests

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: ML 系统与规模化
Source: github.com
Vault note: library/articles/ai_ml/NCCL-Tests-838a92e39429991f.md

Summary

NVIDIA 官方 NCCL 性能与正确性测试程序，支持单机或 MPI 多机环境，以及多进程、多线程和每线程多 GPU 的 collective 测试；可扫描消息大小并报告时间、算法带宽和总线带宽。

Highlights

把“NVLink、PCIe、RDMA 和 Ring/Tree 哪个更快”转化为可复现实测。重点运行 `all_reduce_perf` 的消息大小扫描，记录 rank/GPU 拓扑、环境变量、algbw 与 busbw，并解释小消息延迟区和大消息带宽区的差异。

Comments

Loading comments...