Janus:Go二进制在Vulkan上运行GGUF模型
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。
AI 日报收录的 Llama-3.2-3B-Instruct 相关报道,共 1 篇,按时间倒序,每小时更新。
开发者发布Janus,一个单一Go二进制文件,可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型,并提供OpenAI兼容API。无需Python、Docker或Ollama,支持热切换模型和思考模型。