单台128GB迷你PC跑300B级MoE模型
开发者发布Kyojin引擎,基于ExLlamaV3并针对AMD Strix Halo(ROCm)优化,使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s,MiMo-V2.6-Flash解码最高44 tok/s,并附有与官方FP8的KLD及Top-1一致率对比。
AI 日报收录的 MiMo-V2.6-Flash 相关报道,共 1 篇,按时间倒序,每小时更新。
开发者发布Kyojin引擎,基于ExLlamaV3并针对AMD Strix Halo(ROCm)优化,使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s,MiMo-V2.6-Flash解码最高44 tok/s,并附有与官方FP8的KLD及Top-1一致率对比。