LittleBit

LittleBit实现亚1比特大模型压缩

LittleBit（NeurIPS 2025）通过将权重矩阵分解为低秩潜因子、二值化并用轻量学习尺度恢复幅度，实现每权重1.0至0.1比特的极端压缩，且推理时保持原架构。后续工作LittleBit-2（ICML 2026）引入Joint-ITQ初始化，仅改进初始化而不增加推理开销。