Janus:Go二进制在Vulkan上运行GGUF模型
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。
AI 日报收录的 Janus 相关报道,共 2 篇,按时间倒序,每小时更新。
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。
单个 Go 二进制文件,通过 Vulkan 在本地运行 GGUF 模型并暴露 OpenAI 兼容 API。