FreeToken 是一个开源项目,目标是在个人桌面上实现数据中心规模的模型服务。近期它连续出现在 GitHub Trending 榜单上,其简介强调可在本地运行大型模型,并把数据中心级的服务能力带到桌面环境。
在桌面端本地高效运行大规模模型的推理服务
把数据中心级模型服务带到桌面,本地高效应跑大模型。
把数据中心级模型服务搬到桌面,本地高效运行超大模型。