实测：KV缓存8位量化几乎无损，4位影响明显

一项社区测试在llama.cpp、ExLlamaV3和vLLM上评估了35种权重量化与KV缓存量化的组合，以KL散度衡量输出分布偏移。结果显示8位缓存可减半显存且几乎无差异，4位缓存影响可测，且随上下文长度增加而加剧。

• 四张3060Ti组多GPU本地推理,达120t/s并支持262K上下文2026-09-27
• Eagle-4 发布：速度超越 DFlash2 与 DSpark2026-10-21
• 用户用8张Radeon Pro V620自建大显存推理机2026-10-08
• 开发者发布Ninfer 4080，16GB显卡实现100k上下文2026-10-04
• 瑞士与南非小实验室开源27B创意写作模型Hemmingway-12026-09-21