ConnectX-8

1 篇报道

AI 日报收录的 ConnectX-8 相关报道,共 1 篇,按时间倒序,每小时更新。

相关话题

双DGX节点以vLLM部署GLM-5.3,吞吐达607.8 tok/s

GLM-5.3 NVFP4是7530亿参数的MoE量化模型,每token激活400亿参数,约464GB权重超出单张GB300的252GB显存。通过ConnectX-8 RDMA连接两台NVIDIA DGX Station,以张量并行TP=2和vLLM提供单一OpenAI兼容端点;SPEED-Bench Coding测试中并发16时输出吞吐峰值607.8 tok/s,并发32时降至385.0 tok/s,平均延迟453.5秒。

Hacker News ·
已经到底了