第 2026-10-20 期 · 行业追踪 · 研究 · 开源

ISTA-DASLab用预填充模型提升Qwen3.8-27B低量化精度

ISTA-DASLab演示了一种预填充模型方法,可在保持低显存占用和快速解码的同时,恢复Qwen3.8-27B低量化模型的准确率。该方法需Nvidia Blackwell GPU,在上下文超过约4k时无明显速度损失。

r/LocalLLaMA40 小时前
查看原文 ↗