第 2026-11-14 期 · 行业追踪 · 开源 · 研究
社区讨论:百B级开源模型体积膨胀后的出路
LocalLLaMA用户指出,Qwen、Gemma、NVIDIA等厂商的模型参数正从百B级升至300B以上,未来或达500B,难以在128GB内存设备上运行。讨论提出的替代方案主要是蒸馏和1-bit/2-bit/三值等低比特模型,但现有蒸馏产物与低比特大模型仍有限。
查看原文 ↗LocalLLaMA用户指出,Qwen、Gemma、NVIDIA等厂商的模型参数正从百B级升至300B以上,未来或达500B,难以在128GB内存设备上运行。讨论提出的替代方案主要是蒸馏和1-bit/2-bit/三值等低比特模型,但现有蒸馏产物与低比特大模型仍有限。
查看原文 ↗