CoWindow Attention

CoWA与MALA注意力机制提速长上下文

作者提出CoWindow Attention（将远端上下文按互补窗口分配到各KV头，无需学习路由器）和MassAlloc Attention（利用softmax统计决定是否执行后续计算）。在8张H100、128K上下文下，注意力算子前向/反向/解码分别最高提速7.4x/8.6x/3.0x，14B模型32K训练FLOPs减少28.5%和23.1%，能力与FullAttn相当。