第 2026-10-04 期 · 行业追踪 · 开源 · 芯片 · 研究

单台128GB迷你PC跑300B级MoE模型

开发者发布Kyojin引擎,基于ExLlamaV3并针对AMD Strix Halo(ROCm)优化,使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s,MiMo-V2.6-Flash解码最高44 tok/s,并附有与官方FP8的KLD及Top-1一致率对比。

r/LocalLLaMA24 天前
查看原文 ↗