A100

7 篇报道

A100 是英伟达推出的数据中心 GPU,基于 Ampere 架构,提供 40GB 和 80GB HBM 版本。近期报道集中在它的价格与二手市场:社区称 A100 价格再跌 20-30%,40GB SXM4 可能降至 1 千美元,RTX 6000 也从 1.8 万美元峰值回落。另有开发者用电压故障注入解锁 CMP 170HX 矿卡至约 80GB,一台搭载 9,600 块 A100 的退役超算以 6,000 万美元挂上 eBay,而一项论文指出在 gpt-oss-120b 上 A100 推理比 H100 更便宜。

相关话题

A100显卡价格较此前下跌20-30%

据LocalLLaMA社区帖子,A100显卡价格较作者此前的“崩盘”预警又下跌了20-30%,RTX 6000也从峰值1.8万美元降至1.48万美元。作者认为Rubin和Blackwell每瓦效率高3-4倍且融资更易,A100无法用于推理,买家主要是对价格敏感的爱好者和小型租赁商。

r/LocalLLaMA ·

部分GPU价格出现下跌

社区讨论指出,RTX 6000工作站显卡价格从高峰18000美元降至16500美元,MaxQ版本已降至14000美元。同时,大量A100显卡被抛售,预计二手A100 40GB SXM4价格可能跌至1000美元。市场猜测供应增加和潜在政策变化可能导致需求放缓。

r/LocalLLaMA ·

研究者咨询本地推理硬件选择

一名研究者计划购置一台搭载 32GB 内存的 MacBook Pro 或 Mac Mini,用于本地模型推理。该研究者在校内已可使用 B200、A100 及 L40 等设备进行训练,因此本次购置只针对推理场景。

r/MachineLearning ·
已经到底了