第 2026-09-27 期 · 行业追踪 · 开源 · 研究

四张3060Ti组多GPU本地推理,达120t/s并支持262K上下文

一名用户用四张功耗限制在110W的8GB 3060Ti搭建多GPU推理平台,借助Tensor Parallel、Exl3和HyperQwen方案,在bf16下实现约120t/s、150K上下文,量化KV缓存后可扩展到262K上下文,且并发几乎无性能衰减。

r/LocalLLaMA17 小时前

查看原文 ↗

话题:llama.cpp Exl3 HyperQwen Qwen3.8-27B vLLM

瑞士与南非小实验室开源27B创意写作模型Hemmingway-12026-09-21
可将Qwen3.8-Flash-Next大部分KV缓存外置至RAM2026-09-16
llama.cpp实现42倍加速的提示查找草稿解码2026-09-27
研究：将GLM-5.3-Flash改造成类Jev决策模型2026-09-27
DIY发烧友打造双RTX 3090推理主机2026-09-26