Study note

How to Scale Your Model

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: ML 系统与规模化
Source: jax-ml.github.io
Vault note: library/articles/ai_ml/How-to-Scale-Your-Model-db118923d4c9f3b1.md

Summary

Jacob Austin、Sholto Douglas、Roy Frostig 等作者整理的在线书，副标题是 A Systems View of LLMs on TPUs，主题覆盖 roofline analysis、TPU/GPU 架构、sharded matmul、Transformer 参数/FLOPs/KV cache 估算、训练并行、LLaMA 训练与 serving、JAX/XLA profiling 和 GPU bonus section。

Highlights

非常适合作为 AI infra / inference 的系统型主资料，能把“模型怎么切到多卡”“训练/推理要多少显存和时间”“什么时候 compute/memory/communication bound”“TPU/GPU roofline 怎么看”这些问题连成一条工程推理链。

Notes

Google DeepMind/JAX 团队的 LLM scaling 系统视角在线书。

Comments

Loading comments...