AI at Meta @AIatMeta

我们在俄亥俄州新奥尔巴尼的 Prometheus 训练了 Muse 基础模型（包括 Muse Wonder），这是我们千兆瓦级的超级集群。 在拥有数十万块 GPU 的超级集群中，哪怕一台性能不佳的主机也可能拖慢整个训练运行。我们为 Prometheus 设计了大规模下的韧性能力，在预训练上实现了 85%+ 的 goodput（有效输出率），强化学习上达到 90%+，并且在 Muse Wonder 训练期间，平均每约 4.7 万 GPU 小时才出现一次中断。 看看驱动 Prometheus 的技术：https://t.co/WSFODnGRST