Domyn与PyTorch在384块GH200上训练1T MoE
Domyn团队与TorchTitan、PyTorch维护者合作,在JUPITER超算的384块GH200上训练约1万亿参数MoE,每GPU吞吐约1300 tokens/s,较起点提升14倍。方案采用384路FSDP加节点内4路专家并行,避开流水线并行以缩短迭代周期。
AI 日报收录的 Domyn 相关报道,共 1 篇,按时间倒序,每小时更新。
Domyn团队与TorchTitan、PyTorch维护者合作,在JUPITER超算的384块GH200上训练约1万亿参数MoE,每GPU吞吐约1300 tokens/s,较起点提升14倍。方案采用384路FSDP加节点内4路专家并行,避开流水线并行以缩短迭代周期。