用户1700欧元购入两张RTX 3090,求三卡LLM方案
一名用户在Facebook Marketplace以1700欧元购入两张RTX 3090 Founders Edition,加上原有的一张共三张,合计72GB显存,现有B760主板和小机箱无法容纳三张3槽显卡。他向社区征求低成本方案,如开放式矿架配PCIe 4.0延长线和双电源,或出售第三张卡(约1100欧元)保留48GB显存。
RTX 3090 是 NVIDIA 于 2020 年推出的消费级显卡,配备 24GB 显存,常被用于本地大模型推理。近期 r/LocalLLaMA 的讨论集中在实际使用与硬件状况:有人用两块二手 3090 通过 NVLink 搭建推理机,以 vLLM 运行 Qwen3.8-27B;也有人用单卡运行 4-bit 量化的 Qwen 27B 长达 63 小时、超过 5000 万 token,或让代理连续运行约 21 天、消耗约 2.3 亿 token。此外,帖子提到 eBay 上二手 3090 的“立即购买”价已接近 1500 美元,高于数周前的约 1200 美元。
一名用户在Facebook Marketplace以1700欧元购入两张RTX 3090 Founders Edition,加上原有的一张共三张,合计72GB显存,现有B760主板和小机箱无法容纳三张3槽显卡。他向社区征求低成本方案,如开放式矿架配PCIe 4.0延长线和双电源,或出售第三张卡(约1100欧元)保留48GB显存。
LocalLLaMA用户发帖称,此前关于RTX 3090的热议帖如今看来确有道理,并询问社区能否证实相关说法。发帖者猜测,可能存在因当年挖矿需求而设、后来被取消的限制,这些限制可能有利于LLM运行。帖子未提供数据。
Reddit用户分享在x8/x8拆分器上使用两块RTX 3090时调试PCIe链路重训练的经过,属于本地大模型硬件配置的技术讨论。
Reddit用户反映,eBay上RTX 3090的“立即购买”最低价已接近1500美元,而几周前还只要1200美元,显示GPU市场供应紧张、价格快速上涨。
一名Reddit用户展示了自制的“2400cc推理赛车”:两块二手RTX 3090通过NVLink连接,由裸露的7840U ThinkPad主板驱动,用大众高尔夫散热器和约2.4升冷却液散热,PCIe走WWAN与SSD插槽并需修改BIOS。该机器运行Ubuntu,通过vLLM服务Qwen3.8-27B模型。
一位用户用单张RTX 3090本地运行Qwen 27B量化模型约21天,目标是让智能体自行编写CUDA推理引擎。期间共运行约2.3亿token、699次压缩耗时约83小时,最终预填充速度约为llama.cpp的一半,但产出了可用的kernel和测试。
一位Reddit用户将量化到4bit的 Qwen 3.8 27B 在 RTX 3090 上以100K上下文窗口连续运行63小时(超5000万代币)尝试攻克黎曼假设,未解出答案但记录了内部记忆与策略并开源数据在 Hugging Face。