第 2026-09-20 期 · 行业追踪 · 开源 · 研究

社区呼吁停止在小模型上使用FP4推理

r/LocalLLaMA帖子批评新推理引擎普遍以NVFP4/MXFP4为卖点,认为FP4量化对小参数稠密模型损害严重,易导致幻觉和推理错误;大模型可承受少量精度损失,小模型则可能完全失效。

r/LocalLLaMA11 小时前
查看原文 ↗