A.I. 日报
vLLM nightly 版本新增 PLE 磁盘卸载支持
vLLM 的 nightly 构建版本现已支持 PLE 磁盘卸载，社区在 r/LocalLLaMA 上发布了这一更新。该功能旨在降低内存占用，具体细节尚未公布。
vLLM
20 篇报道vLLM 是一个面向大语言模型的高吞吐、显存高效的推理与服务引擎。近期动态多围绕本地部署：有人在八张 Radeon Pro V620 组成的 256GB 显存机器上通过自定义 vLLM 分支运行 Qwen3.8-Flash-Next，也有人用两张华为 Atlas 300I Duo 卡经 vLLM 优化后将吞吐从约 1 token/s 提升到 30 tok/s。此外，Reflection 的 501B MoE 模型 Beam 在发布首日即获 vLLM 支持。
相关话题
- llama.cpp4
- Qwen3.8 Flash-Next3
- Qwen3.8-27B3
- Qwen2
- PyTorch2
- GLM-5.3-Flash2
- HuggingFace2
- LocalLLaMA2
- DFlash21
- DSpark1
- Eagle-41
- Qwen 3.8 27B1
Qwen4-27B或采用四路并行残差流架构
vLLM-XPU内核的一个PR透露Qwen4-27B可能采用四路并行残差流架构，以在固定270亿参数预算下提升信息流和表示密度。该PR页面随后显示404，社区对此高度期待。
vLLM
高吞吐、省显存的大模型推理与部署引擎。
vllm
高吞吐、省显存的 LLM 推理与服务引擎，面向模型部署场景。
Eagle-4 发布：速度超越 DFlash2 与 DSpark
Eagle-4 在 Qwen 3.8 27B 上实现 3.59 倍加速，超越 DFlash2 的 2.80 倍和 DSpark 的 2.57 倍。目前仅支持 Qwen 3.8 27B，但社区期待其集成到 llama.cpp/vLLM。
vllm
面向LLM的高吞吐、内存高效推理与服务引擎。
开发者用Qwen编程将GPU服务器改造成可控供暖
一位用户在四卡V620服务器上以vLLM为后端，用Qwen编写温控项目，让GPU满载运行的余热为公寓供暖，并带可通过令牌访问的本地网页调节目标温度；推理需要时暂停供暖。项目已开源，作者称目前更像技术演示。
Reflection发布501B开源模型Beam
美国新实验室Reflection在Hugging Face发布首个开源模型Beam，采用MoE架构，总参数501B、每token激活23B，支持100万token上下文，Apache 2.0许可。模型专注编程与智能体场景，获transformers、SGLang、vLLM首日支持，并附带Rust推理框架。
英特尔发布D270推理GPU，主打代理式AI工作负载
英特尔发布面向数据中心的推理优化GPU D270，最高480GB LPDDR5X显存，无需HBM，采用32个Xe3P核心与256个XMX引擎加速prefill。该卡为风冷标准PCIe形态，主打代理式AI长上下文与高并发场景下的每瓦token效率。
用户用8张Radeon Pro V620自建大显存推理机
一名用户用8张二手Radeon Pro V620（共256GB显存）搭建约2800美元的推理主机，并通过定制vLLM分支运行Qwen3.8-Flash-Next，解码速度达每秒60至100个token，预填充超过每秒3000个token，比llama.cpp快约8倍。
开发者发布Ninfer 4080，16GB显卡实现100k上下文
开发者推出Ninfer 4080推理方案，可在RTX 4080 16GB显卡上以100k上下文运行Qwen-3.8-27B-GSQ模型，峰值预填充2720 tok/s、生成262 tok/s。项目已开源，旨在让16GB级显卡获得比通用推理引擎更好的性能。
双96GB升腾卡跑Qwen3.8 Flash-Next实测
用户用两块华为Atlas 300I Duo（各96GB显存，实为每卡两颗芯片各48GB）搭建本地推理机，经vLLM及驱动、算子等软件优化，Qwen3.8 Flash-Next从约1 token/秒提升到单请求约30 tok/s、四并发合计约61 tok/s，并完成全部198题GPQA Diamond。
四张3060Ti组多GPU本地推理,达120t/s并支持262K上下文
一名用户用四张功耗限制在110W的8GB 3060Ti搭建多GPU推理平台,借助Tensor Parallel、Exl3和HyperQwen方案,在bf16下实现约120t/s、150K上下文,量化KV缓存后可扩展到262K上下文,且并发几乎无性能衰减。
研究：将GLM-5.3-Flash改造成类Jev决策模型
一项研究通过设计输入提示使首个输出token直接给出答案，从而让GLM-5.3-Flash等标准LLM在单次前向传播中完成决策，在vLLM上复现出类Jev特性。基准测试显示其准确率和速度与Jev相当，明显优于Laya，但单次决策成本仍高出Jev数倍；额外优势是支持视觉输入。
用户分享本地大模型修改vLLM服务配置
一名本地大模型用户在r/LocalLLaMA发帖，称使用Qwen 3.8 Flash Next驱动Hermes和Pi，让它为vLLM服务添加CUDA_DISABLE_PERF_BOOST=1以降低服务器待机功耗。
瑞士与南非小实验室开源27B创意写作模型Hemmingway-1
一个来自瑞士和南非的小型实验室以Apache-2.0协议开源了基于Qwen3.8-27B微调的27B创意写作模型Hemmingway-1，权重已上线HuggingFace，bf16精度约54.7GB，兼容vLLM。在EQ-Bench 4上得分1330，内部盲测写作基准中沟通能力与人类相似度超过所测前沿模型，但数学、代码和事实召回与基座模型持平，属专用型模型。
vLLM前缀缓存维持技巧在LocalLLaMA讨论区
Reddit子版块LocalLLaMA用户分享在代理交互期间保持vLLM前缀缓存“热”以提升响应性能的技巧与讨论，面向开源模型部署优化。
可将Qwen3.8-Flash-Next大部分KV缓存外置至RAM
一位vLLM用户在r/LocalLLaMA分享可把Qwen3.8-Flash-Next的大部分KV缓存放到系统内存、仅在显存中保留少量量化权重的做法，称在3×3090上实现1M上下文并在短上下文下约80 tok/s，长上下文稳定在约60 tok/s，预填充248k时达3701 tok/s并提供了补丁与模型链接。
Deepseek V4.1 Flash参数为748B总量/552B基模型
社区核查safetensors后指出，Deepseek V4.1 Flash主模型约551.566B参数（40层），FFN专家约543.582B，其他约7.984B；另有约196.929B的engram、14.225B的MTP/DSpark和0.485B的视觉编码器，总计约748B。常见的485B、522B等说法因不同计数方法或误读而不准。
本地 LLM 爱好者：别被 FOMO 和硬件吹风卷走
劝诫本地LLM爱好者别被FOMO推动过度花费：通过API或小模型也能学很多，建议以经济与学习友好的节奏入门，切勿盲目购置高端硬件。
已经到底了