am17an

4 篇报道

am17an 是 llama.cpp 项目的贡献者,主要提交与 MoE 专家缓存和模型转换相关的代码。近期报道包括其合并的张量合并转换 PR #31028(用户可能需要重新转换已有 GGUF 文件)、在主机内存中为 MoE 专家增加 GPU 缓存的 PR #29887,以及 llama.cpp 合并的 Qwen4Exp MTP 支持,相关 GGUF 量化已发布在 Hugging Face。

相关话题
已经到底了