第 2026-09-19 期 · 行业追踪 · 产品 · 芯片

NVIDIA推出AIPerf大规模测试LLM推理速度

NVIDIA推出AIPerf大规模测试LLM推理速度

NVIDIA发布AIPerf,替代GenAI-Perf,采用多进程ZMQ架构绕过Python GIL限制,可更准确测试LLM推理速度,支持超15种端点类型和多种数据集。

Quantum Zeitgeist28 小时前
查看原文 ↗