第 2026-11-14 期 · 行业追踪 · 开源 · 研究

社区讨论:百B级开源模型体积膨胀后的出路

LocalLLaMA用户指出,Qwen、Gemma、NVIDIA等厂商的模型参数正从百B级升至300B以上,未来或达500B,难以在128GB内存设备上运行。讨论提出的替代方案主要是蒸馏和1-bit/2-bit/三值等低比特模型,但现有蒸馏产物与低比特大模型仍有限。

r/LocalLLaMA2 天前
查看原文 ↗