hardmaru @hardmaru

Sakana AI 团队的新论文： 通过多智能体自监督实现递归自我改进（MASS） 当任务变得过于复杂、人类无法可靠评估时，我们该如何继续改进 AI？ 对于开放式研究，我们最终会遇到「监督瓶颈」。如果我们让模型自己同时充当求解者、优化者和评估者，它就会陷入同质化循环，不断强化自身的盲点，而不是纠正它们。 为了打破这个循环，我们从马文·明斯基的《心智社会》中汲取了灵感。如果你让单个模型把自身的副本组织成一个结构化的团队，然后把团队学到的东西蒸馏回基础模型，会怎么样？ MASS 在两个循环之间交替： 1/ 工作流优化：模型迭代地演化自己的多智能体工作流，弄清楚子智能体应如何相互通信和路由信息。 2/ 工作流内化：在成功的多智能体轨迹上微调共享模型，使协调行为被固化到权重中。 用一个 27B 开源权重模型进行两个周期后，在困难的研究基准（MLR-Bench、ScienceAgentBench、DSBenc…）上，每个输出 token 的性能提升了 1.2-1.6 倍