第 2026-11-17 期 · 社区音量

Sebastian Raschka @rasbt

这可能是一种新的预训练方法趋势的开始:不再有学习率衰减阶段。(在Kolibri中也看到了。) 取而代之的是:恒定学习率 + 对最后N个检查点取平均(或运行权重平均)。 我想这在实际中更容易,因为你不必事先确定总训练长度。 基于那些分享训练细节的人的小型元分析: - 经典余弦:Llama 3, OLMo 2, OLMo 3, GLM-4.5, GLM-5, Kimi K3, Phi-4 - WSD(“预热-稳定-衰减”):DeepSeek V3, DeepSeek V4, DeepSeek V4.1-Flash, Kimi K2, Kimi Linear, Nemotron 3 Nano, Nemotron 3 Super, SmolLM3, MiniMax M2 - 无衰减(恒定学习率加检查点平均):Kolibri-1, DatologyAI的模型 [引用 @datologyai]: 技巧#3:合并,合并,合并。 在预训练中,我们跳过了学习率衰减,采用运行权重平均。 然后我们将上下文扩展前的模型合并到扩展后的检查点中(见图中的消融研究收益)。 在我们的RLVR配方中,合并也是MOPD的便捷替代。https://t.co/tMHB1KBWJ3

X21 小时前
查看原文 ↗