第 2026-11-13 期 · 行业追踪 · 研究 · 开源
Domyn与PyTorch在384块GH200上训练1T MoE
Domyn团队与TorchTitan、PyTorch维护者合作,在JUPITER超算的384块GH200上训练约1万亿参数MoE,每GPU吞吐约1300 tokens/s,较起点提升14倍。方案采用384路FSDP加节点内4路专家并行,避开流水线并行以缩短迭代周期。
查看原文 ↗Domyn团队与TorchTitan、PyTorch维护者合作,在JUPITER超算的384块GH200上训练约1万亿参数MoE,每GPU吞吐约1300 tokens/s,较起点提升14倍。方案采用384路FSDP加节点内4路专家并行,避开流水线并行以缩短迭代周期。
查看原文 ↗