Janus:Go二进制在Vulkan上运行GGUF模型
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。
AI 日报收录的 Vulkan 相关报道,共 2 篇,按时间倒序,每小时更新。
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。
virtio-nvgpu在驱动ABI层转发NVIDIA内核ioctl,让Linux客体直接运行官方用户态驱动,无需API翻译。在RTX 3060上,每帧超过约2毫秒时客体性能与裸机差距在2%以内,且CPU开销与主机相当,四路客体合计约103.7fps,可支持无头串流。