华为开源量化工具MACaQ,提升本地推理效率
华为开源内部量化工具MACaQ,支持llama.cpp、vLLM、Diffusers和PyTorch,可量化文本、图像、视频与音频模型。官方称仅用32.5GB显存即可在64分钟内量化1220亿参数模型,在困惑度不逊于MR-GPTQ和DuQuant++的同时将量化时间缩短至约十一分之一。
AI 日报收录的 MACaQ 相关报道,共 1 篇,按时间倒序,每小时更新。
华为开源内部量化工具MACaQ,支持llama.cpp、vLLM、Diffusers和PyTorch,可量化文本、图像、视频与音频模型。官方称仅用32.5GB显存即可在64分钟内量化1220亿参数模型,在困惑度不逊于MR-GPTQ和DuQuant++的同时将量化时间缩短至约十一分之一。