Study note
LLM Inference Benchmarking: Fundamental Concepts
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- LLM 推理与服务
- Source
- developer.nvidia.com
- Vault note
library/articles/ai_ml/LLM-Inference-Benchmarking-Fundamental-Concepts-2eb18b2fd44fda3b.md
Summary
NVIDIA 对 LLM 推理性能指标和测试条件的说明，覆盖 TTFT、ITL、TPOT、吞吐量、请求延迟、并发量与负载测试。
Highlights
帮助区分用户体验指标与系统吞吐指标，避免脱离请求参数和并发条件比较测试结果。
Comments
Loading comments...