第 2026-11-12 期 · 行业追踪 · 研究 · 开源

新优化器让消费级GPU低显存训练大模型

一位AI研究者发布新优化器,将训练每个权重所需显存从AdamW约16字节降至1字节甚至更少,从而在单张24GB RTX 3090上训练27B模型、在16GB GPU上训练23B模型。其量化的Qwen 27B模型GSM8K得分为0.895,与全精度持平,HumanEval为0.84,低于0.93,可在12GB显卡上以约2-3 tok/s运行。

r/LocalLLaMA5 天前
查看原文 ↗