第 2026-11-10 期 · 行业追踪 · 研究 · 开源

研究:删除不足0.05%权重即可达全量微调效果

研究者提出Deletion Tuning方法,通过将Transformer门控投影中不足0.05%的权重置零,在强化学习、监督微调和同策略蒸馏三类后训练场景中达到全量微调效果。该方法生成的掩码比全量微调检查点小数百至数千倍,且在持续学习中遗忘更少。

r/LocalLLaMA11 天前
查看原文 ↗