第 2026-10-08 期 · 行业追踪 · 研究 · 开源

LittleBit实现亚1比特大模型压缩

LittleBit实现亚1比特大模型压缩

LittleBit(NeurIPS 2025)通过将权重矩阵分解为低秩潜因子、二值化并用轻量学习尺度恢复幅度,实现每权重1.0至0.1比特的极端压缩,且推理时保持原架构。后续工作LittleBit-2(ICML 2026)引入Joint-ITQ初始化,仅改进初始化而不增加推理开销。

Hacker News9 天前
查看原文 ↗