oMLX

3 篇报道

oMLX 是面向 Apple MLX 本地 AI 生态的开源推理引擎，采用 Apache 2.0 许可，由创作者 Jun Kim 维护。近期报道包括：Jun Kim 加入 Hugging Face 全职投入 MLX 生态，oMLX 仍由其主导；用户在 M5 Ultra 256 上以 oMLX 0.7.0 运行 GLM 5.3 Flash，测得 68.8 tok/s 解码和 1,878 tok/s 预填充；此外，开源引擎 Inco Splash 宣称在 M5 Max 上对 Qwen3.8-27B 达到 144 tok/s，为 oMLX 解码速度的 2 倍。

M5 Ultra 256运行GLM 5.3 Flash达68.8 tok/s

用户报告在oMLX 0.7.0上以oQ4e+MTP量化运行GLM 5.3 Flash，在M5 Ultra 256上实现68.8 tok/s的解码速度，预填充速度为1,878 tok/s，并表示还有优化空间。该结果回应了此前低于预期的基准测试。

r/LocalLLaMA · 30 天前

GLM 5.3 Flash M5 Ultra 256 oMLX

oMLX创作者Jun Kim加入Hugging Face

oMLX创建者兼维护者Jun Kim加入Hugging Face，全职推进苹果MLX本地AI生态。oMLX仍保持Apache 2.0许可，Kim继续领导该项目，并计划简化从transformers模型到MLX参考实现的转换流程。

Hugging Face Blog · 44 天前

Jun Kim Hugging Face MLX

开源推理引擎Splash：M5 Max上Qwen3.8-27B达144 tok/s

开源推理引擎Inco Splash发布，称在M5 Max MacBook Pro上运行Qwen3.8-27B可达144 tok/s，解码速度最高为Ollama的3倍、oMLX的2倍。要求M3及以上芯片、macOS 26.4+、36GB内存，支持Claude Code、Codex等代理，并已登陆LM Studio。

r/LocalLLaMA · 47 天前

Inco Splash Qwen3.8-27B Ollama

已经到底了