M5 Ultra 256运行GLM 5.3 Flash达68.8 tok/s
用户报告在oMLX 0.7.0上以oQ4e+MTP量化运行GLM 5.3 Flash,在M5 Ultra 256上实现68.8 tok/s的解码速度,预填充速度为1,878 tok/s,并表示还有优化空间。该结果回应了此前低于预期的基准测试。
AI 日报收录的 M5 Ultra 256 相关报道,共 1 篇,按时间倒序,每小时更新。
用户报告在oMLX 0.7.0上以oQ4e+MTP量化运行GLM 5.3 Flash,在M5 Ultra 256上实现68.8 tok/s的解码速度,预填充速度为1,878 tok/s,并表示还有优化空间。该结果回应了此前低于预期的基准测试。