开发者用RTX 4060将稠密模型转为MoE

一名开发者将Qwen2.5-0.5B和SmolLM2-360M转换为稀疏MoE模型，每token仅使用约40%-44%的MLP计算量，但WikiText-2困惑度从14.66升至19.20、基准平均准确率从0.467降至0.408，存在明显质量差距。