开发者用16GB内存预算在M1 Max上运行120B MoE模型
一位开发者将MoE模型的专家权重存于SSD,按需加载,在32GB内存的M1 Max上以16GiB进程内存上限运行gpt-oss-120b和Qwen3.5-122B-A10B。在gpt-oss-120b上平均7.84 token/s,比TUFF快约36%,且受外部内存压力影响更小。
AI 日报收录的 Qwen3.5-122B-A10B 相关报道,共 1 篇,按时间倒序,每小时更新。
一位开发者将MoE模型的专家权重存于SSD,按需加载,在32GB内存的M1 Max上以16GiB进程内存上限运行gpt-oss-120b和Qwen3.5-122B-A10B。在gpt-oss-120b上平均7.84 token/s,比TUFF快约36%,且受外部内存压力影响更小。