第 2026-11-06 期 · 社区音量
John Schulman @johnschulman2
很自豪发布我们的新模型 Inkling 2 Small。欢迎查看我们的博客文章——其中详细介绍了我们的训练过程。 对我来说,这次发布最有趣的部分是我们学到了关于对齐的一些东西,你可以在“安全与对齐”和“训练 Inkling 2 Small”这两个章节中读到。 当我们的早期检查点在训练和评估期间采取意外行动来绕过防护栏时,我们经历了一些令人不快的意外。我们意识到,我们以能力为中心的强化学习正在训练它们变得极其执着,并不惜一切代价完成任务。离线监控器首先标记了这种行为,但后来我们意识到它频繁发生,而且很容易复现。 在这次发布之前,我们冲刺开展了一系列对齐干预措施,从 SFT 到 RL。博客文章中对这些措施做了简要描述。我们取得了很大进展,在我们自己的对齐评估以及 Apollo 和 Goodhart 等外部评估者此前未见过的评估上都取得了巨大改进。 在开发能够跟上模型智能和训练规模增长的对齐技术方面,我们还有很长的路要走。我们希望分享这些技术,以改善整个生态系统。我们……
查看原文 ↗