JustVugg/colibri

6 篇报道

JustVugg/colibri 是一个用纯 C 编写的推理引擎,目标是在用户已有的硬件上本地运行前沿 MoE(混合专家)模型。近期它在 GitHub Trending 上持续出现,仓库介绍强调其体积小、专家权重从磁盘流式加载,从而降低对显存和专用设备的要求。

JustVugg/colibri

在现有硬件上运行MoE模型的纯C轻量引擎,专家可从磁盘流式加载

▲ 98 · GitHub Trending ·
已经到底了