eaddario

社区提出IQ2_K至IQ6_K新量化类型

LocalLLaMA社区讨论llama.cpp新增IQ2_K、IQ3_K、IQ4_K、IQ5_K和IQ6_K量化类型。其文件体积与Q系列量化相当，KLD明显改善，但性能略有下降，且生成IQ量化速度较慢。目前测试数据仅来自单一模型。