第 2026-11-11 期 · 社区音量
Dwarkesh Patel @dwarkesh_sp
这篇完全被淹没了,因为它是和 Navier Stokes 同一天发布的。 但我认为这是关于算法进步真正主要来源的非常有趣的证据。 [引用 @dwarkesh_sp]: 预训练进展似乎主要来自数据方面的改进。 @who_is_jerbear 和我以多种小规模,对 2019 到 2025 年间具有年份代表性的开源模型配方和数据集组合进行了预训练。 数据改进贡献的算力乘数模型改进的 3.24 倍(12.0 倍 vs 3.7 倍)。 而且这些收益可以独立叠加——更好的数据集能帮助每一个 ar…
查看原文 ↗