SGLang

9 篇报道

SGLang 是一个开源的大模型推理与服务框架。近期报道中,它以推理后端的身份出现在多个新模型和工具的发布里:Reflection 的 Beam 与 Meta 的 Muse Spark Open 均标明 day-0 支持 SGLang,Hugging Face 的 DSpark 视觉语言投机解码草稿模型也首日支持 SGLang;此外,SGLang 参与了 Cloudflare 披露的 GLM-5.3 KV 缓存跨请求泄露问题的协调披露,而新推理引擎 Flide 则宣称相比 SGLang 和 vLLM 最高快 9.5 倍。

相关话题

开源研究提出超长上下文稀疏注意力新方法

研究团队发布开源稀疏注意力研究:可在Qwen 3.8 27B上稀疏化注意力而不明显损失准确率,上下文扩展至1000万token时部分任务精度下降,但NIAH等多数任务仍正常。团队称仅用下一token预测损失即可原生训练稀疏注意力,验证损失与全注意力相当且更快,全部内核、SGLang集成与论文均已开放。

r/LocalLLaMA ·

Reflection发布501B开源模型Beam

美国新实验室Reflection在Hugging Face发布首个开源模型Beam,采用MoE架构,总参数501B、每token激活23B,支持100万token上下文,Apache 2.0许可。模型专注编程与智能体场景,获transformers、SGLang、vLLM首日支持,并附带Rust推理框架。

Hugging Face Blog ·

研究者提出上下文语言模型CLM

一篇新论文提出上下文语言模型(CLM),把上下文当作文件让模型自主管理,零样本即超越现有上下文管理策略:BrowseComp-Plus准确率高11.4%且FLOPs少21.5%,EdgeBench和24小时多仓库任务同样更省算力。配套的在线强化学习与Suffix Cache Reuse服务方案进一步降低计算开销。

Hacker News ·
已经到底了