网友在Jetson AGX Thor上以0.646 token/s运行MiMo-2.6-Pro
一名Reddit用户称,在128GB内存的Jetson AGX Thor上成功加载并运行了约566GB的FP8精度MiMo-2.6-Pro,速度仅0.646 token/s,推理时需从磁盘读取模型。该帖借Dario关于开源模型可查看源码的言论调侃闭源模型的不透明,属个人实验分享而非官方发布。
AI 日报收录的 MiMo-2.6-Pro 相关报道,共 1 篇,按时间倒序,每小时更新。
一名Reddit用户称,在128GB内存的Jetson AGX Thor上成功加载并运行了约566GB的FP8精度MiMo-2.6-Pro,速度仅0.646 token/s,推理时需从磁盘读取模型。该帖借Dario关于开源模型可查看源码的言论调侃闭源模型的不透明,属个人实验分享而非官方发布。