双96GB升腾卡跑Qwen3.8 Flash-Next实测
用户用两块华为Atlas 300I Duo(各96GB显存,实为每卡两颗芯片各48GB)搭建本地推理机,经vLLM及驱动、算子等软件优化,Qwen3.8 Flash-Next从约1 token/秒提升到单请求约30 tok/s、四并发合计约61 tok/s,并完成全部198题GPQA Diamond。
AI 日报收录的 Ascend 310P3 相关报道,共 1 篇,按时间倒序,每小时更新。
用户用两块华为Atlas 300I Duo(各96GB显存,实为每卡两颗芯片各48GB)搭建本地推理机,经vLLM及驱动、算子等软件优化,Qwen3.8 Flash-Next从约1 token/秒提升到单请求约30 tok/s、四并发合计约61 tok/s,并完成全部198题GPQA Diamond。