第 2026-11-14 期 · 行业追踪 · 开源 · 模型发布 · 芯片
DeepSeek Ultrafast推理引擎开源 支持100万上下文

面向DeepSeek-V4.1-Flash的开源推理引擎DeepSeek Ultrafast支持100万token上下文和多服务器KV缓存共享。在8块B300上解码速度达2060 tokens/s,单步耗时2.71毫秒,预处理100万token仅需11.7秒。模型已在Baseten平台上线。
查看原文 ↗
面向DeepSeek-V4.1-Flash的开源推理引擎DeepSeek Ultrafast支持100万token上下文和多服务器KV缓存共享。在8块B300上解码速度达2060 tokens/s,单步耗时2.71毫秒,预处理100万token仅需11.7秒。模型已在Baseten平台上线。
查看原文 ↗