801-30B-A3B

1 篇报道

AI 日报收录的 801-30B-A3B 相关报道,共 1 篇,按时间倒序,每小时更新。

相关话题

研究团队将递归自我改进引入前沿预训练,开源801-30B-A3B

研究人员称首次将递归自我改进(RSI)用于从零开始的前沿预训练:由于单次运行耗数十万GPU小时且不可重复,他们把整体循环拆解为可闭合的小循环。成果801-30B-A3B-Base为30B-A3B的MoE模型,用三个月在11.8T token上训练完成。作为基座模型其表现优于Qwen3-30B-A3B和Nemotron-3.5-Lightning-30B-A3B,仅落后于更大的Qwen3.5-35B-A3B;团队已开源模型和轻量SFT数据。

r/LocalLLaMA ·
已经到底了