Sebastian Raschka @rasbt

关于AdamW与Muon这场老辩论，出现了有趣的新见解：Muon似乎表现更好，是因为它减少了记忆。 [引用 @CalcCon]: 𝗔𝗱𝗮𝗺𝗪 𝘃𝘀. 𝗠𝘂𝗼𝗻：α、过拟合与记忆化。关于我们用WeightWatcher比较AdamW与较新的Muon优化器的实验的快速更新。 我们分别在五个随机种子上用两种优化器训练了单头nanoGPT模型。然后我们用WeightWatcher研究权重矩阵谱以及几种形式的记忆化。 顶部图表显示了平均原始α。…

• Raschka发布从零构建推理模型视频课程2026-10-26
• Raschka长文梳理文本分类模型演进2026-09-30
• OpenArch：面向学习的PyTorch LLM架构实现库2026-09-14