第 2026-11-07 期 · 行业追踪 · 开源 · 研究

llama.cpp新PR:MoE缺失专家交由CPU运行

llama.cpp的PR #30966新增llama_moe_cache,将未命中的MoE专家放到CPU上执行,并附带调优脚本。该改动被视为对低显存用户的MoE卸载显著加速。

r/LocalLLaMA3 天前
查看原文 ↗