Aravind Srinivas @AravSrinivas

分享关于自蒸馏+强化学习（JOLT）的新训练后研究，与@NVIDIAAI共同完成。 在自蒸馏中，同一个模型同时扮演教师和学生的角色。教师获得学生没有的额外信息，学生从教师提供的反馈中学习。然而，教师仍可能使用学生无法跟随的捷径。 我们提出的方法JOLT也训练教师，使其从自身尝试的奖励中学习，同时惩罚任何与学生模型会做的相差甚远的偏差。JOLT+进一步补充JOLT，除了教师监督信号外，还为学生模型提供基于结果的奖励。 在MATH基准测试上，我们发现JOLT以少6.5倍的训练token达到与GRPO相当的效果，而JOLT+在数学、编码、终端任务和工具使用基准测试上令人信服地击败了GRPO。 [引用 @perplexity_ai]: 新研究：我们开发了JOLT，一种训练后方法，其中一个模型同时充当教师和学生，教师被训练以提供学生可用的反馈。 在MATH上，它以少6.5倍的训练token匹配了GRPO的准确率。 https://t.co/KFHdZ0tuFn https://t.co…