Qwen3-0.6B

3 篇报道

Qwen3-0.6B 是阿里通义千问 Qwen3 系列中参数量约 0.6B 的小型模型,常被用于本地和低算力设备实验。近期社区把它改造成 MoE 版本并发布 GGUF,速度提升但质量低于稠密版;滑铁卢大学的 ProgramAsWeights 用它作为冻结的解释器执行 LoRA 程序;还有开发者在 2017 年的 Galaxy Note 8 上以 Q4_K_M 量化运行,并通过中继操控桌面 Chrome。

相关话题

社区将Qwen3-0.6B改造为MoE模型

开发者将Qwen3-0.6B转成MoE结构并发布GGUF版本,因Qwen3缺少共享专家,质量有所下降,改用伪共享专家弥补。评测显示MoE困惑度高于稠密版,任务得分略低,但生成速度提升明显。

r/LocalLLaMA ·
已经到底了