开发者本地微调Yandex 80B模型更新进展
一位开发者在Reddit分享对Yandex的AliceAI-80B-A3B基础模型进行指令微调的进展。首轮SFT后模型已具备思维链推理与对话能力,但因指令数据不足而欠拟合,暂不发布alpha检查点;下一步将扩充约500万tokens的通用指令数据并在3块32GB V100上继续训练。
AI 日报收录的 AliceAI-80B-A3B 相关报道,共 1 篇,按时间倒序,每小时更新。
一位开发者在Reddit分享对Yandex的AliceAI-80B-A3B基础模型进行指令微调的进展。首轮SFT后模型已具备思维链推理与对话能力,但因指令数据不足而欠拟合,暂不发布alpha检查点;下一步将扩充约500万tokens的通用指令数据并在3块32GB V100上继续训练。