Percy Liang @percyliang

最后冲刺…… [引用 @dlwh]: Marin的535b模型预训练进度现已超过80%！这是损失值与我们缩放阶梯预测的对比。急剧下降来自4K→16K上下文切换，所以我们在预测上有点作弊。（这是计划内的。）我们也会在4k下重新评估。https://t.co/YPREnmluJY https://t.co/hU9lhL63yx