Percy Liang @percyliang

合成数据现在经常被用于语言模型预训练……但我们能否仔细量化它在计算效率和数据效率上的收益？ [引用 @AhmedSQRD]: 合成重写如今已成为提升数据质量、以及在数据有限时的标准做法。但你应该花多少计算资源来重写？一个在重写数据上训练的模型，能否超越执行重写的模型？ 我们拟合 scaling law 来回答这两个问题： 1/🧵 https://t.co/IuYCwIP8G1