第 2026-11-10 期 · 行业追踪 · 开源 · 研究 · 应用
开发者用16GB内存预算在M1 Max上运行120B MoE模型
一位开发者将MoE模型的专家权重存于SSD,按需加载,在32GB内存的M1 Max上以16GiB进程内存上限运行gpt-oss-120b和Qwen3.5-122B-A10B。在gpt-oss-120b上平均7.84 token/s,比TUFF快约36%,且受外部内存压力影响更小。
查看原文 ↗一位开发者将MoE模型的专家权重存于SSD,按需加载,在32GB内存的M1 Max上以16GiB进程内存上限运行gpt-oss-120b和Qwen3.5-122B-A10B。在gpt-oss-120b上平均7.84 token/s,比TUFF快约36%,且受外部内存压力影响更小。
查看原文 ↗