第 2026-10-25 期 · 行业追踪 · 开源 · 研究 · 模型发布

Lean-QwenFlash实现低内存运行125B模型

开发者基于glm-flash-lite的SSD卸载方案,为Qwen3.8-Flash-Next(125B)推出Lean-QwenFlash,在16GB显存和8GB内存条件下实现约20 tok/s解码。RTX 4090在262k上下文下解码20 tok/s、预填充1627 tok/s;RTX 3080笔记本在100k上下文下解码18-21 tok/s。代码和脚本已在GitHub开源。

r/LocalLLaMA46 小时前
查看原文 ↗