RTX 3060

4 篇报道

RTX 3060 是英伟达(NVIDIA)推出的一款消费级显卡,其中 12GB 显存版本常被用于本地运行大模型。近期报道集中在开发者用其跑起超出显存容量的大模型:llama.cpp 分支 Betelgeuse 在 RTX 3060 12GB 加 16GB 内存的机器上运行 68GB 量化的 Qwen 3.8 Flash Next MoE,达到约 21–22 tok/s,并称输出位精确;同一配置下原版 llama.cpp 仅约 1.5 tok/s。另有报道称 DeepSeek V4.1 Flash 在该卡上达到 19 tok/s 解码。此外,virtio-nvgpu 让 KVM 虚拟机内的 RTX 3060 性能接近原生。

相关话题
已经到底了