第 2026-10-21 期 · 行业追踪 · 研究 · 开源 · 应用

OpenBMB在iPhone上本地运行35B MoE模型

OpenBMB公开了在iPhone 18 Pro Max上以20.51 tok/s运行35B-A3B MoE模型的工程方案,速度达基线的6.07倍。其核心技术LES通过预测并预加载专家权重,在不跳过专家、不改变路由的前提下掩盖存储瓶颈,峰值内存约3GB,代码已开源。

r/LocalLLaMA12 小时前
查看原文 ↗