A.I. 日报
John Schulman@johnschulman2
鼓舞人心的帖子，很高兴能一起合作！ [引用 @ChowdhuryNeil]: 我已经加入 @thinkymachines 从事安全与对齐的工作。 默认的轨迹是，随着 AI 变得更强大，对它的控制将集中在少数人手中。我更愿意构建能让对 AI 的控制被广泛共享的安全系统。 （下面是更长的想法。）
John Schulman
6 篇报道John Schulman 是一位AI研究者和OpenAI的联合创始人。近期报道集中在他支持嵌入第三方评估者、在与Dwarkesh、Beren Millidge和Charlie O’Neill的播客中讨论递归自我改进（并在Hacker News引发对Antithesis与Grok Bot的讨论），以及他关于用户数据与通过扩规模预训练和RLVR提升模型能力的观点。
相关话题
John Schulman@johnschulman2
要是 Anthropic 对 Elon 的方法也能对中国奏效就好了
John Schulman@johnschulman2
在系统中嵌入评估者是一个重大的积极进展，向 Sam/OpenAI 同志表示敬意，感谢他们也同意这么做。看到“为前沿设定节奏”这么快就成为一种做法，真的很酷。 [引用 @DarioAmodei]: 我们必须为前沿设定节奏：我写了一篇新文章，说明为什么AI行业应该放慢速度，并提出了一个三步计划来实现这一点。 Anthropic 正在单方面承诺这些步骤中的第一步。我们将为第三方评估者提供对我们系统的永久、员级访问权限，以便他们能够验证我们安全措施的遵守情况、报告事件，并评估模型的对齐情况…
John Schulman@johnschulman2
很高兴与 Dwarkesh、Beren 和 Charlie 聊天。感谢邀请我们，Dwarkesh！ [引用 @dwarkesh_sp]: 新一期节目，嘉宾有 @johnschulman2、@oneill_c 和 @BerenMillidge。 我邀请了一些我所认识的、在相对开放公司工作的最有洞见的 AI 研究人员，因为我想听听前沿实际发生了什么以及接下来会怎样。 0:00:00 – 有力阐述反对 RSI 的论点 0:18:39 – 驱动中国实验室进展的因素是什么 0:28:06 – 自动化 AI 将如何…
研究者就递归自我提升进展展开争论
Hacker News转载一场讨论，Dwarkesh Patel采访John Schulman、Beren Millidge和Charlie O’Neill等人，围绕递归自我提升的可行性与前沿进展进行辩论，并提到Antithesis与Grok Bot等工具的应用案例。
John Schulman@johnschulman2
作为补充，极不可能对前沿模型在像数学这样的领域的提升有大量贡献的是基于用户数据的训练——这些提升来自于扩大规模的预训练和 RLVR。用户数据更可能用于发现失效模式或用雇佣的注释员难以重现的情形。 话虽如此，各模型公司在多大程度上用用户数据训练存在差异（上传代码库并非假设）。我希望能有更强的规范，要求披露公司如何用用户数据训练——用什么方法，以及为提升什么能力。 [引用 @johnschulman2]: 这并不是今天新闻中最显著的方面，但关于用户数据问题，存在不同种类的“用用户数据训练”，它们在隐私/知识产权方面的…
已经到底了