Percy Liang @percyliang

缩放定律依赖于一个随规模逐渐改善的指标，才能外推到大的目标规模。我们关心的是准确率指标，但小模型可能会得到零准确率。你无法从一堆零中外推。 关键思路：引入一个*提示*层级，并拟合联合缩放定律 Accuracy(scale, hint) = … 更多提示会以受控方式让问题变得更容易，因此准确率不再为零，从而允许外推！了解更多见下文。 [引用 @suze_va]: 我们能否从得零分的模型预测基准准确率？ 我们（共同负责人 @LukeBailey181 @rckpudi）将一个基准变成一系列更简单的带提示版本。联合建模规模 C 和提示层级 H，可以用少 5600 倍的计算量将 GSM8K 准确率（H=0）预测在 3 分以内 🧵 https://t.co/fyLbvONHuL