Flide

Flide推出决策模型专用推理引擎，最高提速9.5倍

Flide是面向Jev类决策模型的高性能精确推理引擎，相比vLLM和SGLang最高提速9.5倍，目前已支持30多款主流本地Jev类决策模型，可通过pip安装使用。其定位是为决策模型提供专属推理引擎，而非复用通用LLM推理栈。