第 2026-10-23 期 · 行业追踪 · 开源 · 模型发布
社区将Qwen3-0.6B改造为MoE模型
开发者将Qwen3-0.6B转成MoE结构并发布GGUF版本,因Qwen3缺少共享专家,质量有所下降,改用伪共享专家弥补。评测显示MoE困惑度高于稠密版,任务得分略低,但生成速度提升明显。
查看原文 ↗话题:Qwen3-0.6B
开发者将Qwen3-0.6B转成MoE结构并发布GGUF版本,因Qwen3缺少共享专家,质量有所下降,改用伪共享专家弥补。评测显示MoE困惑度高于稠密版,任务得分略低,但生成速度提升明显。
查看原文 ↗