HumanEval

从零训练3.87B MoE模型仅用86.5B token

开发者从零训练了3.87B总参数、1.45B激活参数的MoE模型Apex-2，仅用86.5B预训练token，HumanEval达43.9、MMLU仅28.6；DPO导致成绩下降被弃用，模型已开源。