Megatron-LM

Hugging Face发布MoE训练手册，基于Megatron-LM

Hugging Face的Nouamane发布了一份Mixture-of-Experts训练手册，逐项讲解Megatron-LM配置。内容涵盖硬件测试、稠密基线训练、MoE层细节以及服务与强化学习，并公开了55张图表和脚本。经验来自CSCS Alps集群上约80万GH200 GPU小时的MoE训练。