第 2026-10-25 期 · 行业追踪 · 开源 · 研究 · 模型发布
Lean-QwenFlash实现低内存运行125B模型
开发者基于glm-flash-lite的SSD卸载方案,为Qwen3.8-Flash-Next(125B)推出Lean-QwenFlash,在16GB显存和8GB内存条件下实现约20 tok/s解码。RTX 4090在262k上下文下解码20 tok/s、预填充1627 tok/s;RTX 3080笔记本在100k上下文下解码18-21 tok/s。代码和脚本已在GitHub开源。
查看原文 ↗