Aravind Srinivas @AravSrinivas

我们正在分享关于我们后训练方法的新研究，该方法教会 Perplexity Computer 代理通过模仿良好轨迹并明确纠正可避免的错误（如错误的工具调用）来从真实用户会话中学习（即使整体轨迹成功）。该方法结合了拒绝采样微调（RFT）和提示引导的自蒸馏，并在实时 A/B 测试中将工具调用失败减少了约 21% [引用 @perplexity_ai]: 新研究：我们使用提示引导的自蒸馏对 Computer 模型进行了后训练，使其从自己的错误中学习。 在实时 A/B 测试中，后来训练的检查点相对于早期检查点将工具调用失败减少了 21.2%。https://t.co/3MFrp1yxDt