openvino
开源工具包,用于优化并部署AI推理。
OpenVINO 是 Intel 开源的 AI 推理优化与部署工具包。近期报道集中在小型模型于消费级 CPU 上的推理:开发者 Rupesh 为 Laya 项目加入 OpenVINO 支持,在 CPU 上每题耗时 40 ms,比 PyTorch 快 3.4 倍;另有用户将 421M 参数的 Laya 模型转为 OpenVINO 并量化为 INT8,在第 12 代 Intel Core i7 上本地运行 Flappy Bird。
开源工具包,用于优化并部署AI推理。
英特尔开源工具包,用于优化和部署AI推理。
开源工具包,用于优化和部署AI推理。
开发者Rupesh为Laya添加OpenVINO支持,在CPU上每题仅需40毫秒,比PyTorch快3.4倍。项目已在GitHub开源,并附带Flappy Bird演示。
一名用户将4.21亿参数的Laya模型转换为OpenVINO并量化为INT8,在Intel Core i7第12代CPU上本地运行Flappy Bird,展示了小模型在消费级CPU上的推理能力。