A.I. 日报
开发者用RTX 4060将稠密模型转为MoE
一名开发者将Qwen2.5-0.5B和SmolLM2-360M转换为稀疏MoE模型，每token仅使用约40%-44%的MLP计算量，但WikiText-2困惑度从14.66升至19.20、基准平均准确率从0.467降至0.408，存在明显质量差距。
AI 日报收录的 HuggingFaceTB 相关报道，共 1 篇，按时间倒序，每小时更新。
开发者用RTX 4060将稠密模型转为MoE一名开发者将Qwen2.5-0.5B和SmolLM2-360M转换为稀疏MoE模型，每token仅使用约40%-44%的MLP计算量，但WikiText-2困惑度从14.66升至19.20、基准平均准确率从0.467降至0.408，存在明显质量差距。