第 2026-10-05 期 · 行业追踪 · 开源 · 模型发布 · 研究

从零训练3.87B MoE模型仅用86.5B token

开发者从零训练了3.87B总参数、1.45B激活参数的MoE模型Apex-2，仅用86.5B预训练token，HumanEval达43.9、MMLU仅28.6；DPO导致成绩下降被弃用，模型已开源。

r/LocalLLaMA13 天前

查看原文 ↗

话题:Apex-2 Qwen3 DiLoCo HumanEval MMLU

Pulse Local 推出 Mac 端本地 AI 预算应用2026-10-14
Qwen系列LLM成为现代音频模型主流骨干2026-09-30
新研究将大模型块剪枝转化为Ising优化问题2026-09-21
用户自制旧PC加矿卡服务器，Qwen3 27B约30 token/秒2026-09-19