第 2026-10-02 期 · 行业追踪 · 芯片 · 开源
双96GB升腾卡跑Qwen3.8 Flash-Next实测
用户用两块华为Atlas 300I Duo(各96GB显存,实为每卡两颗芯片各48GB)搭建本地推理机,经vLLM及驱动、算子等软件优化,Qwen3.8 Flash-Next从约1 token/秒提升到单请求约30 tok/s、四并发合计约61 tok/s,并完成全部198题GPQA Diamond。
查看原文 ↗用户用两块华为Atlas 300I Duo(各96GB显存,实为每卡两颗芯片各48GB)搭建本地推理机,经vLLM及驱动、算子等软件优化,Qwen3.8 Flash-Next从约1 token/秒提升到单请求约30 tok/s、四并发合计约61 tok/s,并完成全部198题GPQA Diamond。
查看原文 ↗