第 2026-11-11 期 · 行业追踪 · 开源 · 研究
华为开源量化工具MACaQ,提升本地推理效率

华为开源内部量化工具MACaQ,支持llama.cpp、vLLM、Diffusers和PyTorch,可量化文本、图像、视频与音频模型。官方称仅用32.5GB显存即可在64分钟内量化1220亿参数模型,在困惑度不逊于MR-GPTQ和DuQuant++的同时将量化时间缩短至约十一分之一。
查看原文 ↗
华为开源内部量化工具MACaQ,支持llama.cpp、vLLM、Diffusers和PyTorch,可量化文本、图像、视频与音频模型。官方称仅用32.5GB显存即可在64分钟内量化1220亿参数模型,在困惑度不逊于MR-GPTQ和DuQuant++的同时将量化时间缩短至约十一分之一。
查看原文 ↗