开源研究提出超长上下文稀疏注意力新方法

研究团队发布开源稀疏注意力研究：可在Qwen 3.8 27B上稀疏化注意力而不明显损失准确率，上下文扩展至1000万token时部分任务精度下降，但NIAH等多数任务仍正常。团队称仅用下一token预测损失即可原生训练稀疏注意力，验证损失与全注意力相当且更快，全部内核、SGLang集成与论文均已开放。

• 研究揭示Qwen推理循环中的“Wait”机制2026-11-04
• 用户用本地大模型Qwen 3.8 27B分析16年市议会记录2026-11-03
• 阿里Qwen Code仓库疑似泄露qwen4-max等模型ID2026-11-03
• 用户称Qwen 3.8 27b自主调用Blender算数学2026-11-03
• 研究质疑LLM直接读写神经网络权重的能力2026-11-03