第 2026-10-24 期 · 行业追踪 · 开源 · 模型发布

8GB显存运行262K上下文Qwen量化模型

用户展示用8GB显存加24GB内存运行ISTA DASLab的3.5 BPW Qwen-Flash-Next Coder量化版，借助MoE卸载和磁盘n-gram实现262K上下文，预填充约70 T/s、生成约8 T/s。该量化剪除一半专家，等效1.89比特/参数，但实际权重仍为3.5 BPW。

r/LocalLLaMA3 天前

查看原文 ↗

话题:Qwen-Flash-Next ISTA DASLab llama.cpp

ISTA-DASLab发布DeepSeek-V4.1-Flash量化版2026-10-24
llama.cpp PR优化Qwen Flash Next显存占用2026-10-03
llama.cpp合并Qwen4Exp的MTP支持2026-10-01
12GB显存笔记本本地跑Qwen3.8模型达51t/s2026-09-30
Qwen3.8-Flash-Next 在12GB显存实现65 tokens/秒2026-09-24