新研究将大模型块剪枝转化为Ising优化问题

研究者把Transformer块删除重新表述为约束二元优化问题，并映射为Ising自旋玻璃模型，从而在无需逐一基准测试的情况下评估候选剪枝配置。在Llama-3.3-70B-Instruct上实现50%压缩时，MMLU得分比最佳同类方法高出近23个百分点。