Mathidot

Study note

MiniTorch

View original Back to list

Properties

Type
Blogs
Status
待读
Domain
AI / ML
Category
深度学习、自动微分与实践
Source
minitorch.github.io
Vault note
library/articles/ai_ml/MiniTorch-de1e7a0f189aa928.md

Summary

Sasha Rush 等人为 Cornell Tech Machine Learning Engineering 课程开发的纯 Python 教学框架，通过补全 TODO 并通过测试，逐步实现 Module/Parameter、标量自动微分、反向传播、Tensor storage/shape/stride、broadcasting、tensor autograd、算子融合、并行与 GPU 编程，以及卷积、池化和多分类网络。

Highlights

比只实现标量计算图的 micrograd 更深入 Tensor 内部机制，适合作为 Rust 自动求导框架的结构参考。建议按“scalar autograd -> computation graph -> tensor/stride/broadcast -> tensor backward -> CPU/GPU kernel -> neural-network layer”顺序完成，并在每个阶段用 Rust 重写核心抽象。

Notes

从零实现迷你版 PyTorch 的深度学习系统课程。

Comments

Loading comments...

    Be kind. Basic Markdown is not rendered.