A.I. 日报
DFlash2草稿模型使Qwen3.8-Flash-Next提速17%
用户测试显示，在llama.cpp v0.8.0上为Qwen3.8-Flash-Next启用DFlash2草稿模型后，解码速度几何平均提升约17%：代码+18%、列表+39%、散文略降3%。DFlash2草稿头仅约350MB，远小于MTP的2.2GB，且支持视觉输入。
Qwen3.8-Flash-Next
21 篇报道Qwen3.8-Flash-Next 是阿里通义千问团队推出的开源权重模型，采用 MoE 架构，总参数约 180B、激活约 6B，另有 125B 版本在社区流传。近期覆盖集中在本地推理与量化优化：Nvidia 发布 102GB 的 FP4 量化版，Mesh Applied 称 NVFP4 量化后单张 RTX 6000 Pro 可达 184 tok/s，Basalt 引擎宣称最高 2.6 倍加速，Lean-QwenFlash 用 16GB 显存加 8GB 内存跑 125B 模型。
相关话题
- llama.cpp5
- Strata4
- vLLM3
- Hugging Face2
- Qwen2
- Qwen42
- Qwen3.8-27B2
- Unsloth2
- Strix Halo2
- DFlash21
- Mesh Applied1
- RTX 6000 Pro1
Qwen3.8-Flash-Next在单张RTX 6000 Pro上达184 tok/s
Mesh Applied团队发布基于NVFP4量化的Qwen3.8-27B-NInfer模型，称在单张RTX 6000 Pro上实现184 tok/s的吞吐。团队认为开放模型已足以覆盖约98%的实际AI任务，瓶颈在于能否高频、快速地运行，并以每任务耗时为核心指标优化量化与内核。
社区讨论Qwen4预期：小模型已接近最优？
LocalLLaMA社区用户讨论对Qwen4的期待，认为Qwen3.8-Flash-Next作为预览模型已非常出色，并质疑Qwen4是否还会大幅超越，或当前模型已接近该尺寸的当前最优水平。
Lean-QwenFlash实现低内存运行125B模型
开发者基于glm-flash-lite的SSD卸载方案，为Qwen3.8-Flash-Next（125B）推出Lean-QwenFlash，在16GB显存和8GB内存条件下实现约20 tok/s解码。RTX 4090在262k上下文下解码20 tok/s、预填充1627 tok/s；RTX 3080笔记本在100k上下文下解码18-21 tok/s。代码和脚本已在GitHub开源。
五个Qwen3.8-27B模型在基准测试中媲美Fable 5
一篇论文及配套代码库提出“基于账本的零样本自我编排”：同一模型的多个新实例通过共享文件系统分工协作解题。在最新的100道高难度LiveCodeBench题目上，该方法在固定后端最多提升25.6个百分点；编排后的Qwen3.8 Flash Next达到93.0% pass@1，超过Fable 5的90.4%，成本仅为其9%；本地开源Qwen3.8-27B从66.8%升至92.4%。作者称部分模型没有提升甚至变差。
Meta开源816B模型Muse Spark Open评测39分，Qwen3.8-Flash-Next以180B得40分
有用户整理11个开放权重模型在Artificial Analysis上的得分与参数量对比：Meta的Muse Spark Open（816B总参、42B激活）得39分，Qwen3.8-Flash-Next（180B、6B激活）得40分。榜单最高为1T参数的MiMo-V2.6-Pro（46分），其后是DeepSeek V4.1 Flash 1017和GLM-5.3（均45分）。该指数仅为单一聚合分，不反映速度、长上下文或视觉能力。
Nvidia发布Qwen3.8-Flash-Next的FP4量化版
社区消息显示，Nvidia的Qwen3.8-Flash-Next FP4量化版本体积仅102GB，低于NVFP4版本的133GB，用户希望相关推理引擎能提供支持。
Basalt推理引擎发布，性能最高提升2.6倍
开发者发布面向Blackwell架构的推理引擎Basalt，专为Qwen3.8 Flash-Next优化，吞吐量达Strata的2.6倍，支持双GPU与8路并发，MIT开源。
用户用8张Radeon Pro V620自建大显存推理机
一名用户用8张二手Radeon Pro V620（共256GB显存）搭建约2800美元的推理主机，并通过定制vLLM分支运行Qwen3.8-Flash-Next，解码速度达每秒60至100个token，预填充超过每秒3000个token，比llama.cpp快约8倍。
Qwen3.8-Flash-Next在Strata上支持Strix Halo
开发者在Strata上发布对Strix Halo机器的Qwen3.8-Flash-Next官方支持，长上下文解码表现最佳，支持最高100万token上下文，目前仅限Linux且标记为实验性。
用户分享Strata加速本地大模型但64GB内存吃紧
一名Reddit用户反映，在R9700和RTX 5060 Ti双GPU、64GB DDR5内存配置下，通过Strata运行Qwen3.8-Flash-Next的量化版本，推理速度从约21 token/秒提升至约60 token/秒，但内存占用高达96%，无法同时运行ComfyUI图像视频任务，凸显本地大模型对系统内存的高需求。
社区关注Qwen3.8 Flash Next优化能否加速Qwen4
Reddit用户讨论Qwen3.8 Flash Next的优化工作是否能为Qwen4发布铺路。该帖引用Qwen官方博客，希望当前对模型运行效率的投入在下一代模型发布时能直接复用。
双96GB升腾卡跑Qwen3.8 Flash-Next实测
用户用两块华为Atlas 300I Duo（各96GB显存，实为每卡两颗芯片各48GB）搭建本地推理机，经vLLM及驱动、算子等软件优化，Qwen3.8 Flash-Next从约1 token/秒提升到单请求约30 tok/s、四并发合计约61 tok/s，并完成全部198题GPQA Diamond。
开源发布Victoria和Maple微调模型
基于Qwen3.8-Flash-Next，通过REAP技术裁剪44%专家，经4位量化训练，Victoria在Terminal-Bench 2.1上得分70.0%，HumanEval 159/164，单B300上280 tok/s，输出token减少35%。Maple专注于加拿大问题，在600道题上引用官方来源从6.0%提升至62.9%，完全正确率从6.6%到21.8%。
Swift1.5-Qwen3.8-Flash-Next基准测试表现亮眼
用户对比测试显示，Swift-1.5-Qwen3.8-Flash-Next在Aider基准上首试通过率41.1%，与基座模型40.2%相当，但每例token用量从17646降至6991，耗时从1542秒降至608秒，大幅减少过度推理。
Qwengram-0.8B：转移n-gram记忆降低5.05%困惑度
开发者将Qwen3.8 Flash-Next的预训练PLE n-gram记忆迁移到Qwen3.5-0.8B，在冻结骨干和约51B参数记忆的情况下训练R=1读取器，验证困惑度从18.2759降至17.3534，降低5.05%。这是语言模型验证结果，不代表基准准确率提升5%。
Qwen3.8-Flash-Next 在12GB显存实现65 tokens/秒
开发者自建推理引擎Strata，在12GB RTX 5070等消费级硬件上运行Qwen3.8-Flash-Next，输出速度约65 tok/s，提示处理约430 tok/s，较此前llama.cpp方案大幅提升。引擎目前仅针对CUDA优化，已开源并支持一键安装。
Qwen3.8-Flash-Next在Strix Halo实现1M上下文
开发者发布halogen 0.12.0更新，修复长上下文性能衰减。在Ryzen AI Max+ 395与128GB内存上，100万token上下文的解码速度从27.3提升至38.3 tok/s，预填充耗时约18分钟。
可将Qwen3.8-Flash-Next大部分KV缓存外置至RAM
一位vLLM用户在r/LocalLLaMA分享可把Qwen3.8-Flash-Next的大部分KV缓存放到系统内存、仅在显存中保留少量量化权重的做法，称在3×3090上实现1M上下文并在短上下文下约80 tok/s，长上下文稳定在约60 tok/s，预填充248k时达3701 tok/s并提供了补丁与模型链接。
在12GB显存上运行Qwen3.8-Flash-Next实测
作者在RTX 4070（12GB VRAM）+64GB内存环境下，通过量化、ngram SSD卸载、--fit 参数和MTP补丁等优化，将Qwen3.8-Flash-Next的生成速度从6 tok/s 提升接近20 tok/s，PP约300–350 tok/s。文中列出具体补丁与权衡细节。
Qwen3.8-Flash-Next 在 MLX-serve 上支持 1M 上下文发布
Qwen3.8-Flash-Next 在 MLX-serve 上实现百万级上下文支持，作者用 M5 Max 与 8-bit kv 缓存演示约760k上下文并称可维持1M上下文、生成速率约40–75 tok/s。
已经到底了