Mathidot

Study note

CuTe Arithmetic Tuple Tensor

View original Back to list

Properties

Type
Blogs
Status
待读
Domain
AI / ML
Category
GPU、CUDA 与内核优化
Source
leimao.github.io
Vault note
library/articles/ai_ml/CuTe-Arithmetic-Tuple-Tensor-740cca6268e14d43.md

Summary

区分以数据指针为 engine 的 CuTe Data Tensor 和以 `ArithmeticTuple` 为 iterator 的坐标 tensor，解释 `make_identity_tensor` 如何在不存储坐标数组的情况下按需生成原 tensor 坐标，并展示 identity tensor 经过 `local_tile`、MMA partition 后如何用于边界检查和线程级坐标映射。

Highlights

文章进一步把 arithmetic-tuple stride 解释为无限维向量空间中的 basis，并说明 composition、logical division 和 logical product 等 CuTe layout algebra 为什么仍然成立。适合学过 CuTe shape/stride/layout 和 tiled MMA 后，继续理解 CUTLASS/CuTe 中的坐标推导与 TMA tensor。

Notes

CuTe 中按需生成张量坐标的 ArithmeticTuple 机制。

Comments

Loading comments...

    Be kind. Basic Markdown is not rendered.