第 2026-11-09 期 · 行业追踪 · 研究 · 开源

HOPE:考虑专家协作的MoE高阶剪枝方法

HOPE:考虑专家协作的MoE高阶剪枝方法

Hugging Face博客介绍的论文提出HOPE方法,在剪枝MoE模型时考虑专家之间的成对关联,而非独立给每个专家打重要性分数。文中指出Qwen3.5-122B每层有256个专家,约250GB参数内存中95%被专家MLP占据,但每个token每层仅用到8个专家。该方法无需训练、可与量化叠加。

Hugging Face Blog13 天前
查看原文 ↗