第 2026-10-10 期 · 行业追踪 · 开源 · 研究

Qwen 3.8 Flash在RTX 3060上约21 tok/s运行

一位开发者分享，通过预测MoE专家路由加速CPU/GPU卸载，在RTX 3060 12GB加16GB内存上以约21 tok/s运行68GB的Qwen 3.8 Flash Next量化模型，且未做门控剪枝、保持比特精确。热缓存下可达24 tok/s以上，相比原版约1.4-2.1 tok/s大幅提升。

r/LocalLLaMA40 小时前

查看原文 ↗

话题:Qwen Qwen 3.8 Flash Next llama.cpp RTX 3060

对Qwen模型添加logit惩罚提升数学准确率2026-09-27
ThinkingCap与Swift微调Qwen3.8-27B基准对比2026-09-25
Yandex开源80B俄罗斯模型AliceAI2026-09-22
Qwen 27B在单张3090上自主运行三周2026-09-21
本地化 LLM 社区迎来“黄金时代？2026-09-13