第 2026-11-19 期 · 社区音量
Sebastian Raschka @rasbt
哇,伟大甚至过度的Marin Mochi(535B-A23B)检查点掉落(往好的方向!) 顺便附带很棒的技术报告,深入了解为什么/如何选择组件(为了训练稳定性和GPU吞吐量)。 简短事实表: 1)潜在MoE,在潜在上额外加RMSNorm,使潜在MoE真正工作(更好) 2)经典的3:1滑动窗口/全局门控GQA,部分RoPE(本地)和NoPE(全局) 3)在键、注意力输出和MoE输出上添加短卷积 4)独占自注意力(XSA)——我想今年的年终架构总结不会无聊了😅 [引用 @dlwh]:我们发布了Marin“Mochi”535B-A23B预训练的所有57个中间检查点,包括10个来自长上下文扩展的检查点。18.2T令牌,约61 TB权重。 https://t.co/MmfZeQdB1V 博客:https://t.co/kNCJ6PoNW5 https://t.co/rVApf8wIaH
查看原文 ↗