网友在Jetson AGX Thor上以0.646 token/s运行MiMo-2.6-Pro
一名Reddit用户称,在128GB内存的Jetson AGX Thor上成功加载并运行了约566GB的FP8精度MiMo-2.6-Pro,速度仅0.646 token/s,推理时需从磁盘读取模型。该帖借Dario关于开源模型可查看源码的言论调侃闭源模型的不透明,属个人实验分享而非官方发布。
Dario 是 Anthropic 的联合创始人兼首席执行官,常就开源与闭源模型的透明度发表看法。近期相关讨论多为社区调侃:有用户在小红书以外的 r/LocalLLaMA 上发布 GLM「向 Dario 开火」的图片,另有人以约 566GB 的 FP8 MiMo-2.6-Pro 在 128GB Jetson AGX Thor 上运行、速度仅 0.646 tokens/sec 的实测来呼应他对开源透明度的评论。
一名Reddit用户称,在128GB内存的Jetson AGX Thor上成功加载并运行了约566GB的FP8精度MiMo-2.6-Pro,速度仅0.646 token/s,推理时需从磁盘读取模型。该帖借Dario关于开源模型可查看源码的言论调侃闭源模型的不透明,属个人实验分享而非官方发布。
Reddit 用户在 r/LocalLLaMA 发布一张截图,标题指称 GLM 对 Dario 发起“shots fired”。帖子为图像链接和简短说明,未提供更多背景或事实细节。
Hacker News上有人询问电影《黑客帝国》中“agents”为何是反派,评论指出“agent”一词在电影上映前已是计算机科学与软件领域的既有术语,用户间讨论还提到自主代理(autonomous agents)等历史渊源。