SubSpec

开发者提出2比特草稿加内存残差的投机解码方案

一位开发者在Hugging Face发布方案：GPU保留2比特模型做草稿，系统内存保存6至8比特残差供验证，仅激活值经PCIe传输，使草稿不额外占用显存。实测6比特残差质量接近Q8_0，但读取字节少约28%。