社区将Qwen3-0.6B改造为MoE模型
开发者将Qwen3-0.6B转成MoE结构并发布GGUF版本,因Qwen3缺少共享专家,质量有所下降,改用伪共享专家弥补。评测显示MoE困惑度高于稠密版,任务得分略低,但生成速度提升明显。
Qwen3-0.6B 是阿里通义千问 Qwen3 系列中参数量约 0.6B 的小型模型,常被用于本地和低算力设备实验。近期社区把它改造成 MoE 版本并发布 GGUF,速度提升但质量低于稠密版;滑铁卢大学的 ProgramAsWeights 用它作为冻结的解释器执行 LoRA 程序;还有开发者在 2017 年的 Galaxy Note 8 上以 Q4_K_M 量化运行,并通过中继操控桌面 Chrome。
开发者将Qwen3-0.6B转成MoE结构并发布GGUF版本,因Qwen3缺少共享专家,质量有所下降,改用伪共享专家弥补。评测显示MoE困惑度高于稠密版,任务得分略低,但生成速度提升明显。
滑铁卢大学研究者发布开源项目ProgramAsWeights,可将英文功能描述编译为可复用的神经程序并在本地运行。其编译器用微调的Qwen3-4B为冻结的Qwen3-0.6B生成LoRA适配器,把编译与推理分离,程序可保存、分发并与普通代码组合。
开发者在 Galaxy Note 8(2017,6GB)上用 llama.cpp 运行 Qwen3-0.6B(Q4_K_M),通过中继驱动真实桌面 Chrome 并在三项任务中进行结构化页面感知与选择。Qwen3-0.6B 在多个测试上均取得 10/10 成绩;测试强调结构化感知比直接 HTML 更有效率。