A100显卡价格较此前下跌20-30%
据LocalLLaMA社区帖子,A100显卡价格较作者此前的“崩盘”预警又下跌了20-30%,RTX 6000也从峰值1.8万美元降至1.48万美元。作者认为Rubin和Blackwell每瓦效率高3-4倍且融资更易,A100无法用于推理,买家主要是对价格敏感的爱好者和小型租赁商。
A100 是英伟达推出的数据中心 GPU,基于 Ampere 架构,提供 40GB 和 80GB HBM 版本。近期报道集中在它的价格与二手市场:社区称 A100 价格再跌 20-30%,40GB SXM4 可能降至 1 千美元,RTX 6000 也从 1.8 万美元峰值回落。另有开发者用电压故障注入解锁 CMP 170HX 矿卡至约 80GB,一台搭载 9,600 块 A100 的退役超算以 6,000 万美元挂上 eBay,而一项论文指出在 gpt-oss-120b 上 A100 推理比 H100 更便宜。
据LocalLLaMA社区帖子,A100显卡价格较作者此前的“崩盘”预警又下跌了20-30%,RTX 6000也从峰值1.8万美元降至1.48万美元。作者认为Rubin和Blackwell每瓦效率高3-4倍且融资更易,A100无法用于推理,买家主要是对价格敏感的爱好者和小型租赁商。
开发者Kate通过电压故障注入绕过CMP 170HX的熔断锁,恢复约80GB HBM显存和全部SM,实测FP16算力85.9 TFLOP/s,高于零售A100的72.5。该方法需自制STM32故障注入器和1至48小时调试,十张卡中仅一张保留完整64GB。
社区讨论指出,RTX 6000工作站显卡价格从高峰18000美元降至16500美元,MaxQ版本已降至14000美元。同时,大量A100显卡被抛售,预计二手A100 40GB SXM4价格可能跌至1000美元。市场猜测供应增加和潜在政策变化可能导致需求放缓。
一名研究者计划购置一台搭载 32GB 内存的 MacBook Pro 或 Mac Mini,用于本地模型推理。该研究者在校内已可使用 B200、A100 及 L40 等设备进行训练,因此本次购置只针对推理场景。
有IT供应商在eBay上挂牌出售退役AI超算,标价6000万美元,包含9600块Nvidia A100 GPU、4200颗AMD EPYC CPU,共300个机架,并提供免费配送。
一位业余ML研究者为寻找妻子结肠癌的药物再利用候选方案,在个人项目中面临GPU成本压力。他使用Google Vertex的A100训练NBFNet模型,但因内存限制批量大小降至64,正在寻求更经济的GPU使用策略。
论文指出,开放权重模型推理成本约为同类闭源模型的五分之一,自托管可降至每百万输出token 0.12至0.35美元。在gpt-oss-120b上A100比H100更便宜,A100五年租赁价格保持一个月价格的80%,表明旧GPU家族仍有多年盈利寿命。