llama.cpp新PR:MoE缺失专家交由CPU运行
llama.cpp的PR #30966新增llama_moe_cache,将未命中的MoE专家放到CPU上执行,并附带调优脚本。该改动被视为对低显存用户的MoE卸载显著加速。
am17an 是 llama.cpp 项目的贡献者,主要提交与 MoE 专家缓存和模型转换相关的代码。近期报道包括其合并的张量合并转换 PR #31028(用户可能需要重新转换已有 GGUF 文件)、在主机内存中为 MoE 专家增加 GPU 缓存的 PR #29887,以及 llama.cpp 合并的 Qwen4Exp MTP 支持,相关 GGUF 量化已发布在 Hugging Face。
llama.cpp的PR #30966新增llama_moe_cache,将未命中的MoE专家放到CPU上执行,并附带调优脚本。该改动被视为对低显存用户的MoE卸载显著加速。
开源项目llama.cpp合并了名为“convert时合并张量”的拉取请求(#31028),由贡献者am17an提交。该改动可能意味着用户需要重新转换已有的GGUF模型文件。
开发者am17an向llama.cpp提交PR #29887,为存放在主机内存中的MoE专家层增加GPU缓存,有望显著加速无法完全装入显存的混合专家模型推理。
开发者am17an为llama.cpp提交的Qwen4Exp MTP支持已被合并,开发耗时17小时,使Qwen Flash Next可使用MTP。相关GGUF量化文件已发布在Hugging Face上。