Study note

The Ultra-Scale Playbook: Training LLMs on GPU Clusters

Properties

Type: Books
Status: 想读
Domain: AI / ML
Category: ML 系统与规模化
Source: huggingface.co
Vault note: library/books/ai_ml/The-Ultra-Scale-Playbook-Training-LLMs-on-GPU-Clusters-814ec8b661816deb.md

Summary

Hugging Face 推出的开源大模型分布式训练手册，从单 GPU 训练出发，逐步讲解显存构成、激活重计算、梯度累积，以及数据并行、张量并行、流水线并行、上下文并行、ZeRO 和 kernel fusion。内容同时讨论计算、通信与显存之间的权衡，并配有 Picotron 教学实现和 Nanotron 生产级代码参考。

Highlights

基于最多 512 张 GPU、超过 4,000 组扩展实验给出可复现的吞吐与利用率数据，而不只是罗列并行术语。交互式显存计算器、通信可视化和 profiler 示例尤其适合建立多 GPU 训练的系统直觉，也能与现有的 scaling-book 和 AI Infra 路线衔接。

Comments

Loading comments...