Betelgeuse让DeepSeek V4.1 Flash在RTX 3060上可交互运行
开发者称借助Betelgeuse(bel-cli/bel-server),在RTX 3060 12GB、16GB内存的预算PC上运行DeepSeek V4.1 Flash Q8_XL,解码19 tok/s、预填充62 tok/s。其通过缓存分区、Engram表驻留NVMe等设计缓解了超大MoE外存的预填充瓶颈。
RTX 3060 是英伟达(NVIDIA)推出的一款消费级显卡,其中 12GB 显存版本常被用于本地运行大模型。近期报道集中在开发者用其跑起超出显存容量的大模型:llama.cpp 分支 Betelgeuse 在 RTX 3060 12GB 加 16GB 内存的机器上运行 68GB 量化的 Qwen 3.8 Flash Next MoE,达到约 21–22 tok/s,并称输出位精确;同一配置下原版 llama.cpp 仅约 1.5 tok/s。另有报道称 DeepSeek V4.1 Flash 在该卡上达到 19 tok/s 解码。此外,virtio-nvgpu 让 KVM 虚拟机内的 RTX 3060 性能接近原生。
开发者称借助Betelgeuse(bel-cli/bel-server),在RTX 3060 12GB、16GB内存的预算PC上运行DeepSeek V4.1 Flash Q8_XL,解码19 tok/s、预填充62 tok/s。其通过缓存分区、Engram表驻留NVMe等设计缓解了超大MoE外存的预填充瓶颈。
开发者发布Betelgeuse(基于llama.cpp的分支),在RTX 3060 12GB加16GB DDR4内存的普通PC上,以22 tok/s持续速度(峰值48 tok/s)运行68GB的Qwen 3.8 Flash Next MoE量化模型,且无门控剪枝、保持100%比特一致。此前标准llama.cpp在该配置下仅约1.47 tok/s。
一位开发者分享,通过预测MoE专家路由加速CPU/GPU卸载,在RTX 3060 12GB加16GB内存上以约21 tok/s运行68GB的Qwen 3.8 Flash Next量化模型,且未做门控剪枝、保持比特精确。热缓存下可达24 tok/s以上,相比原版约1.4-2.1 tok/s大幅提升。
virtio-nvgpu在驱动ABI层转发NVIDIA内核ioctl,让Linux客体直接运行官方用户态驱动,无需API翻译。在RTX 3060上,每帧超过约2毫秒时客体性能与裸机差距在2%以内,且CPU开销与主机相当,四路客体合计约103.7fps,可支持无头串流。