第 2026-10-18 期 · 行业追踪 · 开源 · 研究
社区尝试为Qwen 3.8 Flash Next使用完整n-gram表
LocalLLaMA用户称,常见GGUF中置于SSD的PLE(n-gram表)被大幅量化,影响模型表现;其用ple_fp8_pack.py打包FP8版PLE后,iq3_s量化模型出错明显减少且速度不变,仅多占磁盘。所需safetensors文件来自Qwen FP8仓库,打包后通过--ple-gguf参数加载。
查看原文 ↗LocalLLaMA用户称,常见GGUF中置于SSD的PLE(n-gram表)被大幅量化,影响模型表现;其用ple_fp8_pack.py打包FP8版PLE后,iq3_s量化模型出错明显减少且速度不变,仅多占磁盘。所需safetensors文件来自Qwen FP8仓库,打包后通过--ple-gguf参数加载。
查看原文 ↗