A.I. 日报
OpenBMB在iPhone上本地运行35B MoE模型
OpenBMB公开了在iPhone 18 Pro Max上以20.51 tok/s运行35B-A3B MoE模型的工程方案，速度达基线的6.07倍。其核心技术LES通过预测并预加载专家权重，在不跳过专家、不改变路由的前提下掩盖存储瓶颈，峰值内存约3GB，代码已开源。
OpenBMB
3 篇报道OpenBMB 是一个研发大模型与端侧推理技术的团队，代表工作包括 MiniCPM 系列模型。近期报道集中在端侧运行大模型：先是发布 MiniCPM-V 4.7-35B-A3B，这是 MiniCPM-V 系列首个 MoE 多模态模型，在 iPhone 17 Pro Max 上达到 13 tokens/s 以上；随后演示该模型以约 3GB 内存在本机运行，并提供 1B 小版本；还介绍了 Lookahead Expert Scheduling，使 35B-A3B MoE 模型在 iPhone 18 Pro Max 上达到 20.51 tok/s，较基线快 6.07 倍。
相关话题
MiniCPM-V 4.7演示手机端运行35B多模态模型
OpenBMB展示MiniCPM-V 4.7，35B-A3B MoE视觉语言模型可在手机上以约3GB内存本地运行，依靠LES专家预载调度降低瓶颈，并推出1B小模型。
OpenBMB发布MiniCPM-V 4.7-35B-A3B多模态模型
OpenBMB发布MiniCPM-V 4.7系列首个MoE模型35B-A3B，支持端侧无损推理，在iPhone 17 Pro Max上解码速度超13 tokens/s，并达到新的性能效率帕累托前沿，超越Qwen3.6 35B-A3B。
已经到底了