KQuant量化技术发布:KL散度最高改善3.7倍
ML工程师Alish发布开源量化方案KQuant,针对Qwen系列模型提供MLX格式4-bit量化包,称在KL散度上优于公开基线,其中Qwen3.8-Flash-Next改善达3.7倍且体积更小。作者称该量化在M5 Pro上运行速度也快6%至15%,GGUF版本将于次日推出。
AI 日报收录的 Nace 相关报道,共 1 篇,按时间倒序,每小时更新。
ML工程师Alish发布开源量化方案KQuant,针对Qwen系列模型提供MLX格式4-bit量化包,称在KL散度上优于公开基线,其中Qwen3.8-Flash-Next改善达3.7倍且体积更小。作者称该量化在M5 Pro上运行速度也快6%至15%,GGUF版本将于次日推出。