理解与增强Kimi Delta Attention

一项研究对比了Gated Deltanet与Kimi Delta Attention的表达能力，提出Complex KDA（CKDA）。通过将门控范围扩展到[-1,1]、delta规则学习率扩展到[0,2]，CKDA能表达任意正交对角加秩一矩阵，并跟踪S3、S4、A5群，但在语言建模上与标准KDA竞争力相当。

• Blockway发布Agens Volundr 32B预览版：混合架构，仅18层保留KV缓存2026-10-05