第 2026-10-05 期 · 行业追踪 · 应用

M5 Ultra 256运行GLM 5.3 Flash达68.8 tok/s

用户报告在oMLX 0.7.0上以oQ4e+MTP量化运行GLM 5.3 Flash,在M5 Ultra 256上实现68.8 tok/s的解码速度,预填充速度为1,878 tok/s,并表示还有优化空间。该结果回应了此前低于预期的基准测试。

r/LocalLLaMA27 天前
查看原文 ↗