社区音量

19 条

仅显示 2026年9月19日 周六 的内容 · 查看全部日期 →

Sebastian Raschka@rasbt
212 赞 · 16 转发 ·
关于AdamW与Muon这场老辩论,出现了有趣的新见解:Muon似乎表现更好,是因为它减少了记忆。 [引用 @CalcCon]: 𝗔𝗱𝗮𝗺𝗪 𝘃𝘀. 𝗠𝘂𝗼𝗻:α、过拟合与记忆化。关于我们用WeightWatcher比较AdamW与较新的Muon优化器的实验的快速更新。 我们分别在五个随机种子上用两种优化器训练了单头nanoGPT模型。然后我们用WeightWatcher研究权重矩阵谱以及几种形式的记忆化。 顶部图表显示了平均原始α。…
Guillermo Rauch@rauchg
227 赞 · 9 转发 ·
看起来今天可能是 Vercel AI Gateway 上开放模型 token 量占比创纪录的一天: 🟦 开放 78.4% 🟨 封闭 21.6% 虽然支出 💲 通常讲述不同的故事,但今天第 3 和第 4 名是 Moonshot AI 和 DeepSeek。加上 Z⁠.ai,它们的总支出超过了 OpenAI(第 2 名)。 (请注意,这是跨提供商进行模型推理的支出(主要在美国),而不是直接流向开放权重实验室的收入。)
Teknium 🪽@Teknium
543 赞 · 6 转发 ·
再次欢迎我们最新的 Hermes Cloud 工程师,很高兴你能加入 Calvin! [引用 @calvinnwq]: 我很高兴地分享,我将加入 @NousResearch 的 Hermes Cloud 团队。 在过去的几个月里,我花了很多个人时间一头扎进探索当 AI 完全融入日常生活(无论是在家中还是在工作中)时未来会是什么感觉。 通过这段经历,我开始相信保持 AI 开源并广泛可用很重要。当你赋能了……
已经到底了