第 2026-10-22 期 · 行业追踪 · 研究 · 开源

开发者提出2比特草稿加内存残差的投机解码方案

一位开发者在Hugging Face发布方案：GPU保留2比特模型做草稿，系统内存保存6至8比特残差供验证，仅激活值经PCIe传输，使草稿不额外占用显存。实测6比特残差质量接近Q8_0，但读取字节少约28%。

r/LocalLLaMA26 小时前

查看原文 ↗

话题:Hugging Face PyTorch Gemma SubSpec

Hugging Face支持TorchTPU原生PyTorch后端2026-10-20
PyTorch 2.15为Mac的MPS后端带来FP8支持2026-10-20
Hugging Face推TorchNeuron原生支持Trainium2026-10-19
从零实现GPT-2 KV缓存并测量性能2026-10-18
Hugging Face发布OlmoEarth v1.3全球卫星嵌入模型2026-10-22