HOPE:考虑专家协作的MoE高阶剪枝方法
Hugging Face博客介绍的论文提出HOPE方法,在剪枝MoE模型时考虑专家之间的成对关联,而非独立给每个专家打重要性分数。文中指出Qwen3.5-122B每层有256个专家,约250GB参数内存中95%被专家MLP占据,但每个token每层仅用到8个专家。该方法无需训练、可与量化叠加。
AI 日报收录的 Qwen3.5-122B 相关报道,共 1 篇,按时间倒序,每小时更新。
Hugging Face博客介绍的论文提出HOPE方法,在剪枝MoE模型时考虑专家之间的成对关联,而非独立给每个专家打重要性分数。文中指出Qwen3.5-122B每层有256个专家,约250GB参数内存中95%被专家MLP占据,但每个token每层仅用到8个专家。该方法无需训练、可与量化叠加。