SparseLoCo

管道并行训练中阶段跳过的容错模拟

Templar团队在Crucible分布式预训练平台中模拟了管道并行训练的阶段跳过容错。使用178M模型、8个副本、每个副本4个阶段，在1%的副本失败概率下，验证损失接近无故障基线。结果表明，固定投影共享可提升鲁棒性，支持在不可靠计算资源上训练。