OpenBMB在iPhone上本地运行35B MoE模型
OpenBMB公开了在iPhone 18 Pro Max上以20.51 tok/s运行35B-A3B MoE模型的工程方案,速度达基线的6.07倍。其核心技术LES通过预测并预加载专家权重,在不跳过专家、不改变路由的前提下掩盖存储瓶颈,峰值内存约3GB,代码已开源。
AI 日报收录的 DSpark 相关报道,共 2 篇,按时间倒序,每小时更新。
OpenBMB公开了在iPhone 18 Pro Max上以20.51 tok/s运行35B-A3B MoE模型的工程方案,速度达基线的6.07倍。其核心技术LES通过预测并预加载专家权重,在不跳过专家、不改变路由的前提下掩盖存储瓶颈,峰值内存约3GB,代码已开源。
Eagle-4 在 Qwen 3.8 27B 上实现 3.59 倍加速,超越 DFlash2 的 2.80 倍和 DSpark 的 2.57 倍。目前仅支持 Qwen 3.8 27B,但社区期待其集成到 llama.cpp/vLLM。