新量化格式Gyro被指类似EXL3且配方闭源
社区用户分析新量化格式Gyro,认为其与EXL3同属QTIP/Trellis编码量化族,但编解码不互通且制作配方暂未公开。该用户称未发现Gyro在解码速度或困惑度等指标上优于EXL3的公开证据,担忧其加剧社区碎片化。
AI 日报收录的 EXL3 相关报道,共 2 篇,按时间倒序,每小时更新。
社区用户分析新量化格式Gyro,认为其与EXL3同属QTIP/Trellis编码量化族,但编解码不互通且制作配方暂未公开。该用户称未发现Gyro在解码速度或困惑度等指标上优于EXL3的公开证据,担忧其加剧社区碎片化。
一名用户用四张功耗限制在110W的8GB 3060Ti搭建多GPU推理平台,借助Tensor Parallel、Exl3和HyperQwen方案,在bf16下实现约120t/s、150K上下文,量化KV缓存后可扩展到262K上下文,且并发几乎无性能衰减。