研究:删除不足0.05%权重即可达全量微调效果
研究者提出Deletion Tuning方法,通过将Transformer门控投影中不足0.05%的权重置零,在强化学习、监督微调和同策略蒸馏三类后训练场景中达到全量微调效果。该方法生成的掩码比全量微调检查点小数百至数千倍,且在持续学习中遗忘更少。
AI 日报收录的 Deletion Tuning 相关报道,共 1 篇,按时间倒序,每小时更新。
研究者提出Deletion Tuning方法,通过将Transformer门控投影中不足0.05%的权重置零,在强化学习、监督微调和同策略蒸馏三类后训练场景中达到全量微调效果。该方法生成的掩码比全量微调检查点小数百至数千倍,且在持续学习中遗忘更少。