ExLlamaV3

2 篇报道

AI 日报收录的 ExLlamaV3 相关报道，共 2 篇，按时间倒序，每小时更新。

Lean-QwenFlash实现低内存运行125B模型

开发者基于glm-flash-lite的SSD卸载方案，为Qwen3.8-Flash-Next（125B）推出Lean-QwenFlash，在16GB显存和8GB内存条件下实现约20 tok/s解码。RTX 4090在262k上下文下解码20 tok/s、预填充1627 tok/s；RTX 3080笔记本在100k上下文下解码18-21 tok/s。代码和脚本已在GitHub开源。

r/LocalLLaMA · 47 小时前

Qwen3.8-Flash-Next ExLlamaV3 Alibaba

单台128GB迷你PC跑300B级MoE模型

开发者发布Kyojin引擎，基于ExLlamaV3并针对AMD Strix Halo（ROCm）优化，使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s，MiMo-V2.6-Flash解码最高44 tok/s，并附有与官方FP8的KLD及Top-1一致率对比。

r/LocalLLaMA · 24 天前

ExLlamaV3 GLM-5.3-Flash MiMo-V2.6-Flash

已经到底了