第 2026-10-04 期 · 行业追踪 · 开源 · 芯片 · 研究
单台128GB迷你PC跑300B级MoE模型
开发者发布Kyojin引擎,基于ExLlamaV3并针对AMD Strix Halo(ROCm)优化,使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s,MiMo-V2.6-Flash解码最高44 tok/s,并附有与官方FP8的KLD及Top-1一致率对比。
查看原文 ↗开发者发布Kyojin引擎,基于ExLlamaV3并针对AMD Strix Halo(ROCm)优化,使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s,MiMo-V2.6-Flash解码最高44 tok/s,并附有与官方FP8的KLD及Top-1一致率对比。
查看原文 ↗