volotat

Mini-AGI：8GB显存上的持续学习模型

开发者volotat发布Mini-AGI，一个可在8GB显存消费级硬件上训练的持续学习模型。项目采用动态增删专家的MoE架构和单条连续数据流上的batch size 1训练，以降低显存需求并让个人掌控训练数据，目前模型仍在处理首批7.8B字符数据，作者称扩展曲线表现良好。