用户用6块BC-250矿板搭建本地AI集群运行Qwen
一名爱好者用6块BC-250矿卡主板搭建本地AI集群,4块运行Qwen Next Flash,100k上下文下短生成约28 tok/s;另2块运行3.6 35B Q4模型,速度达60 tok/s。
Vulkan 是一个跨平台的图形与计算 API,常被用于在 AMD、Intel、NVIDIA 等不同 GPU 上运行本地 AI 模型。近期相关报道包括开发者发布的 Janus——一个无需 Python、Docker 或 Ollama 即可通过 Vulkan 或 CPU 运行 GGUF 模型的 Go 单文件程序;也有爱好者用六块 BC-250 矿板搭建集群,在四块板上以约 28 tok/s 运行 Qwen Next Flash。
一名爱好者用6块BC-250矿卡主板搭建本地AI集群,4块运行Qwen Next Flash,100k上下文下短生成约28 tok/s;另2块运行3.6 35B Q4模型,速度达60 tok/s。
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。
virtio-nvgpu在驱动ABI层转发NVIDIA内核ioctl,让Linux客体直接运行官方用户态驱动,无需API翻译。在RTX 3060上,每帧超过约2毫秒时客体性能与裸机差距在2%以内,且CPU开销与主机相当,四路客体合计约103.7fps,可支持无头串流。