双DGX节点以vLLM部署GLM-5.3,吞吐达607.8 tok/s
GLM-5.3 NVFP4是7530亿参数的MoE量化模型,每token激活400亿参数,约464GB权重超出单张GB300的252GB显存。通过ConnectX-8 RDMA连接两台NVIDIA DGX Station,以张量并行TP=2和vLLM提供单一OpenAI兼容端点;SPEED-Bench Coding测试中并发16时输出吞吐峰值607.8 tok/s,并发32时降至385.0 tok/s,平均延迟453.5秒。