第 2026-10-04 期 · 行业追踪 · 开源 · 产品

开发者发布Ninfer 4080，16GB显卡实现100k上下文

开发者推出Ninfer 4080推理方案，可在RTX 4080 16GB显卡上以100k上下文运行Qwen-3.8-27B-GSQ模型，峰值预填充2720 tok/s、生成262 tok/s。项目已开源，旨在让16GB级显卡获得比通用推理引擎更好的性能。

r/LocalLLaMA4 天前

查看原文 ↗

话题:NInfer 4080 ISTA-DASLab-Qwen-3.8-27B-GSQ RTX 4080 llama.cpp vllm

四张3060Ti组多GPU本地推理,达120t/s并支持262K上下文2026-09-27
llama.cpp v0.6.0发布支持Qwen4Exp2026-10-05
开发者用FPGA挖矿硬件运行Qwen3.5大模型2026-10-04
llama.cpp在长文本推理中比IQ3_S引擎更稳定2026-10-04
用户分享Strata加速本地大模型但64GB内存吃紧2026-10-04