A.I. 日报
从零训练3.87B MoE模型仅用86.5B token
开发者从零训练了3.87B总参数、1.45B激活参数的MoE模型Apex-2，仅用86.5B预训练token，HumanEval达43.9、MMLU仅28.6；DPO导致成绩下降被弃用，模型已开源。
AI 日报收录的 Apex-2 相关报道，共 1 篇，按时间倒序，每小时更新。
从零训练3.87B MoE模型仅用86.5B token开发者从零训练了3.87B总参数、1.45B激活参数的MoE模型Apex-2，仅用86.5B预训练token，HumanEval达43.9、MMLU仅28.6；DPO导致成绩下降被弃用，模型已开源。