TensorFold
面向Metal、CUDA与Vulkan的Zig语言LLM推理引擎。
TensorFold 是一个面向 Metal、CUDA 和 Vulkan 的大语言模型推理引擎,可在不依赖 Python 的情况下部署和运行模型。近期它在 GitHub Trending 上连续出现,相关条目介绍其基于 Zig 实现,跨 Metal、CUDA 与 Vulkan 后端提供推理服务,并明确不依赖 Python 或 MLX。
面向Metal、CUDA与Vulkan的Zig语言LLM推理引擎。
面向Metal、CUDA和Vulkan的LLM推理引擎,免Python部署模型。
用 Zig 编写的 Metal/CUDA/Vulkan 推理引擎,无需 Python 即可服务模型。
基于Zig的LLM推理引擎,支持Metal、CUDA与Vulkan。