Study note

Inference Engine from Scratch

View original Back to list

Properties

Type: Blogs
Status: 待读
Domain: AI / ML
Category: LLM 推理与服务
Source: github.com
Vault note: library/articles/ai_ml/Inference-Engine-from-Scratch-a4cb4d522fc4ba1d.md

用 C++ 从零实现推理引擎的学习项目，展示张量计算、模型执行和底层运行时组件如何组合。

适合在理解 vLLM 等成熟系统之后，通过小型实现补齐执行引擎内部结构。

Loading comments...