Hugging Face发布VLM推测解码加速器
Hugging Face为视觉语言模型LFM2.5-VL-3B发布实验性DSpark草稿模型,仅增加2.8亿参数(8.9%),在设备上升速最高3.13倍、H100上2.66倍,且不改变输出质量,首日支持llama.cpp、MLX-VLM和SGLang。
AI 日报收录的 SGLang 相关报道,共 1 篇,按时间倒序,每小时更新。
Hugging Face为视觉语言模型LFM2.5-VL-3B发布实验性DSpark草稿模型,仅增加2.8亿参数(8.9%),在设备上升速最高3.13倍、H100上2.66倍,且不改变输出质量,首日支持llama.cpp、MLX-VLM和SGLang。