量化基准之争:ISTA-DASLab的gsq-rco量化结果遭质疑
ISTA-DASLab的gsq-rco量化方法因基准数据无法复现而受到Unsloth批评,后者测试显示其量化性能更优。Basalt推理引擎的创建者随后用Unsloth的量化替换了原先基于ISTA-DASLab的版本。
ISTA-DASLab 是一个专注模型量化与低位推理的研究实验室,在 Hugging Face 发布基于 GSQ-RCO 方法的 GGUF 量化模型。近期报道集中在其 DeepSeek-V4.1-Flash 的 GGUF 量化、用 prefiller 模型提升 Qwen3.8-27B 低量化精度,以及 3.5 BPW 的 Qwen-Flash-Next Coder 量化在 8GB 显存上跑出 262K 上文的实测;同时 Unsloth 质疑其 gsq-rco 基准数字无法复现。
ISTA-DASLab的gsq-rco量化方法因基准数据无法复现而受到Unsloth批评,后者测试显示其量化性能更优。Basalt推理引擎的创建者随后用Unsloth的量化替换了原先基于ISTA-DASLab的版本。
用户展示用8GB显存加24GB内存运行ISTA DASLab的3.5 BPW Qwen-Flash-Next Coder量化版,借助MoE卸载和磁盘n-gram实现262K上下文,预填充约70 T/s、生成约8 T/s。该量化剪除一半专家,等效1.89比特/参数,但实际权重仍为3.5 BPW。
ISTA-DASLab采用GSQ-RCO量化方法发布DeepSeek-V4.1-Flash-1017的GGUF量化版本,已上线Hugging Face。由于原始架构支持尚未合并,llama.cpp暂不支持该模型。
ISTA-DASLab演示了一种预填充模型方法,可在保持低显存占用和快速解码的同时,恢复Qwen3.8-27B低量化模型的准确率。该方法需Nvidia Blackwell GPU,在上下文超过约4k时无明显速度损失。
用户测试显示,Strata推理引擎搭配ISTA-DASLab的Qwen3.8-Flash-Next量化版,在12GB显存、64GB内存笔记本上实现51 t/s生成和1500 t/s提示处理,远超原版llama.cpp。该引擎目前仅支持Nvidia及特定GGUF模型。
开发者自建推理引擎Strata,在12GB RTX 5070等消费级硬件上运行Qwen3.8-Flash-Next,输出速度约65 tok/s,提示处理约430 tok/s,较此前llama.cpp方案大幅提升。引擎目前仅针对CUDA优化,已开源并支持一键安装。