Percy Liang 是斯坦福大学计算机科学教授，研究机器学习与语言模型，并参与 Marin 开放模型项目。近期内容围绕合成数据扩展规律、用专家评分检验 AI 提出研究问题的能力、Marin 535B-A23B 预训练进度与 25T token 开放数据集流程，以及 NanoGPT 训练新纪录和带价格引导的 LLM 论文预测方法。
缩放定律依赖于一个随规模逐渐改善的指标，才能外推到大的目标规模。我们关心的是准确率指标，但小模型可能会得到零准确率。你无法从一堆零中外推。 关键思路：引入一个*提示*层级，并拟合联合缩放定律 Accuracy(scale, hint) = … 更多提示会以受控方式让问题变得更容易，因此准确率不再为零，从而允许外推！了解更多见下文。 [引用 @suze_va]: 我们能否从得零分的模型预测基准准确率？ 我们（共同负责人 @LukeBailey181 @rckpudi）将一个基准变成一系列更简单的带提示版本。联合建模…
Marin 535B-A23B 现已支持 65K 上下文…… 倒计时……
合成数据现在经常被用于语言模型预训练……但我们能否仔细量化它在计算效率和数据效率上的收益？ [引用 @AhmedSQRD]: 合成重写如今已成为提升数据质量、以及在数据有限时的标准做法。但你应该花多少计算资源来重写？一个在重写数据上训练的模型，能否超越执行重写的模型？ 我们拟合 scaling law 来回答这两个问题： 1/🧵
最近几周已经清楚地表明，AI 非常擅长解决研究问题。那它在提出*有趣的*研究问题方面有多强？感谢29位来自数学、统计、计算机科学和物理学领域的专家的评分，我们发现其中1/3是有趣的，我们完全预期这一点还会提升。这引发了关于在{学术界,产业界}中{人类,AI}理想关系的重要问题…… [引用 @FanNie1208]: AI 现在正在攻克科学家提出的一些最难开放问题。但研究不止于解决问题。AI 是否也能提出专家认为真正有趣的研究问题？ 我们构建了 After42 来找出答案。专家判定其135个最终问题中有45个真正有…
最后冲刺…… [引用 @dlwh]: Marin的535b模型预训练进度现已超过80%！这是损失值与我们缩放阶梯预测的对比。急剧下降来自4K→16K上下文切换，所以我们在预测上有点作弊。（这是计划内的。）我们也会在4k下重新评估。
大多数课程教授算法，但机器学习的大部分是关于从经验中发展的实证直觉。这门课程系统化了这个过程。评估是下一个实验预测。 [引用 @tatsu_hashimoto]: 深度学习通常被教授为一堆经过净化的 facts 和数学。但在AI前沿的工作是混乱和实证的。 我们的新课程《深度学习炼金术》旨在以《从头开始语言建模》的动手精神教授深度学习的艺术和科学。 学生通过在小LMs上运行实验来建立直觉，然后通过预测测验来测试它：给定一个未见的c……
Astra 今天能够生成/预测一篇在其截止日期之后发表的特定新论文的概率是多少？朴素采样是行不通的（尾部概率小到天文数字级别）。 定价引导的核心思想是，你可以通过模型（Astra）与引导 LLM（拥有该论文的 Astra）之间的对话来给出这个概率的下界，其中我们可以精确核算从引导方发送到模型的信息比特数。也可以把这看作一种针对前沿模型的新评估方式。 [引用 @wen_kaiyue]: LLM 能生成新颖的研究想法吗？我们提出 Priced Guidance，通过压缩来量化这一点！ 我们对 P(LLM 预测未来某篇…
鉴于已经有那么多人尝试过 NanoGPT，我真没想到一次就能把耗时减少 40%！ [引用 @classiclarryd]: NanoGPT 创下新的历史纪录，@DevenPzak 达到 39.9 秒（-27.7 秒），打破了此前 67.6 秒的纪录！ 这项纪录为 NanoGPT 引入了一种新的思维范式：不去优化矩阵乘法或添加更具表现力的操作，而是在单个 flop 层面进行优化，凭借极其聪明的工程和机器学习判断力。如果某个 flop 在某一步价值不高，就跳过它。 具体来说： -(~8 秒…
Marin 坚信开放社区的力量。Hugging Face 上有大量已生成的数据集。我们构建了可扩展的基础设施，摄取这些数据，进行去重、去污染、混合，生成25T token。 [引用 @WilliamBarrHeld]: Hugging Face 上有海量的开放训练数据。要让它们协同工作需要什么 🤗？ 对于 Marin 的535B运行，我们基于152个数据集的25T token构建，这些数据集的许可证允许训练。 以下是下载这些数据和训练模型之间的工作 🧵
很高兴看到又一次在线训练运行！这是 Marin 535B-A23B 今天的情况： 还有谁想分享吗？ [引用 @_LuoFuli]: 半年的沉默。我们用这段时间研究一个问题：RL（强化学习）能扩展到多远。 MiMo-V2.6 目前正处于其 RL 运行的中期。我们扩展了三件事：计算（~每步 20 亿 token，1568 个 prompts × 16 次 rollouts，完全异步）、环境和测试套件（多任务代理式 RL，在一次运行中混合多个测试套件），以及评分器计算（组内代理式的信用分配，带测试-c…）
A.I. 日报