Sakana AI自我改进模型胜率近70%但存盲点
Sakana AI的MASS方法让同一语言模型通过解题、评判结果和优化流程实现自我改进,两轮后对基础模型胜率接近70%。但若模型在三种角色中犯同样错误,会将错误误认为进步并在训练中强化。
Sakana AI 是一家位于东京的人工智能研究公司。近期报道集中在自我改进相关研究上,包括让单个语言模型自我改进的 MASS 方法(两轮后对基础模型胜率接近 70%)、能发现论文核心论断错误 73% 的 LLM 同行评审系统,以及聘请 Jürgen Schmidhuber 担任首席科学顾问并领导新的 RSI Lab。
Sakana AI的MASS方法让同一语言模型通过解题、评判结果和优化流程实现自我改进,两轮后对基础模型胜率接近70%。但若模型在三种角色中犯同样错误,会将错误误认为进步并在训练中强化。
Sakana AI推出基于LLM的同行评审系统,可识别论文中73%的核心论点错误,有望辅助学术审稿、提升评审效率与质量。
东京Sakana AI聘请Jürgen Schmidhuber担任首席科学顾问,他将协助领导公司新成立的RSI Lab,专注递归自我改进研究。Schmidhuber在20世纪90年代提出的思想已影响Darwin Gödel Machine等项目,公司称其为现代AI之父。