第 2026-11-10 期 · 社区音量
Percy Liang @percyliang
为什么 Marin 535B-A23B 是这个规模?为什么是 384 个专家中的 8 个?为什么用 GatedNorm、sconv、XSA?为什么用线性学习率?所有这些因素都是由时间线、计算效率、MoE 路由稳定性等之间的权衡所驱动的。阅读每个设计决策背后的理由: [引用 @classiclarryd]: 分享 Marin 535B-A23B 架构背后的思考过程,该模型上周在 18T token 上完成了预训练:https://t.co/ZdeshNHhcy 今年早些时候,Marin 项目在 Open Athena 有 6 名全职员工,既有 AI 老手,也有像我这样刚进入这个领域的人。作为独立贡献者,我从团队中学到了很多。此后,我们在一个月内让 B200 GPU 集群运行起来,扩展到了 300……
查看原文 ↗话题:Percy Liang