TensorFold

4 篇报道

TensorFold 是一个面向 Metal、CUDA 和 Vulkan 的大语言模型推理引擎,可在不依赖 Python 的情况下部署和运行模型。近期它在 GitHub Trending 上连续出现,相关条目介绍其基于 Zig 实现,跨 Metal、CUDA 与 Vulkan 后端提供推理服务,并明确不依赖 Python 或 MLX。

TensorFold

面向Metal、CUDA和Vulkan的LLM推理引擎,免Python部署模型。

▲ 188 · GitHub Trending ·

TensorFold

用 Zig 编写的 Metal/CUDA/Vulkan 推理引擎,无需 Python 即可服务模型。

▲ 54 · GitHub Trending ·

TensorFold

基于Zig的LLM推理引擎,支持Metal、CUDA与Vulkan。

▲ 58 · GitHub Trending ·
已经到底了