研究:PBT不能加速grokking,但可逃离死区

一项在模块加法任务上的实验显示,基于种群训练(PBT)调学习率与权重衰减并不比网格搜索更快:最佳固定组合约317步达95%验证准确率,PBT需约2667步。但在无任何固定配置能grokkng的“死区”起点,PBT仍能3/3成功,约6850步。作者称PBT是救援工具而非加速器。