社区呼吁停止在小模型上使用FP4推理
r/LocalLLaMA帖子批评新推理引擎普遍以NVFP4/MXFP4为卖点,认为FP4量化对小参数稠密模型损害严重,易导致幻觉和推理错误;大模型可承受少量精度损失,小模型则可能完全失效。
AI 日报收录的 NVFP4 相关报道,共 1 篇,按时间倒序,每小时更新。
r/LocalLLaMA帖子批评新推理引擎普遍以NVFP4/MXFP4为卖点,认为FP4量化对小参数稠密模型损害严重,易导致幻觉和推理错误;大模型可承受少量精度损失,小模型则可能完全失效。