第 2026-11-10 期 · 行业追踪 · 研究 · 开源

新工具称一键将LLM压缩3倍且近乎无损

新工具称一键将LLM压缩3倍且近乎无损

Hacker News讨论的一项方案声称可在不足50MB内存下,一键将任意LLM压缩至约三分之一且近乎无损。其论证聚焦“内存墙”:消费级GPU带宽有限,自回归逐token生成时每字节约需1次浮点运算,读一遍未压缩14GB模型约需73毫秒,从而限制推理速度。

Hacker News12 天前
查看原文 ↗