RTX 3090

7 篇报道

RTX 3090 是 NVIDIA 于 2020 年推出的消费级显卡,配备 24GB 显存,常被用于本地大模型推理。近期 r/LocalLLaMA 的讨论集中在实际使用与硬件状况:有人用两块二手 3090 通过 NVLink 搭建推理机,以 vLLM 运行 Qwen3.8-27B;也有人用单卡运行 4-bit 量化的 Qwen 27B 长达 63 小时、超过 5000 万 token,或让代理连续运行约 21 天、消耗约 2.3 亿 token。此外,帖子提到 eBay 上二手 3090 的“立即购买”价已接近 1500 美元,高于数周前的约 1200 美元。

相关话题

用户1700欧元购入两张RTX 3090,求三卡LLM方案

一名用户在Facebook Marketplace以1700欧元购入两张RTX 3090 Founders Edition,加上原有的一张共三张,合计72GB显存,现有B760主板和小机箱无法容纳三张3槽显卡。他向社区征求低成本方案,如开放式矿架配PCIe 4.0延长线和双电源,或出售第三张卡(约1100欧元)保留48GB显存。

r/LocalLLaMA ·

DIY发烧友打造双RTX 3090推理主机

一名Reddit用户展示了自制的“2400cc推理赛车”:两块二手RTX 3090通过NVLink连接,由裸露的7840U ThinkPad主板驱动,用大众高尔夫散热器和约2.4升冷却液散热,PCIe走WWAN与SSD插槽并需修改BIOS。该机器运行Ubuntu,通过vLLM服务Qwen3.8-27B模型。

r/LocalLLaMA ·

Qwen 27B在单张3090上自主运行三周

一位用户用单张RTX 3090本地运行Qwen 27B量化模型约21天,目标是让智能体自行编写CUDA推理引擎。期间共运行约2.3亿token、699次压缩耗时约83小时,最终预填充速度约为llama.cpp的一半,但产出了可用的kernel和测试。

r/LocalLLaMA ·
已经到底了