MiniMax (official) @MiniMax_AI

加速视频注意力的三条路径：更高效地计算相同的交互、完整计算更少的交互，或改变信息的混合方式。以下是可视化指南。👇 感谢 Nunchux AI 及合作者带来 VC-Attention，为 MiniMax-H3 带来免训练的低比特加速，在 B200 评测中保真度优于 SageAttention2。 该方法在速度与保真度之间取得平衡：V-Smooth 减少 value 量化误差，而 ExpCast-FP8 通过近似让 softmax 更快。 很高兴看到社区持续在 H3 上构建。将低比特计算与 Sol-Attn 等稀疏方法结合能否进一步提升效率？我们期待看到这方面的探索。 [引用 @NunchuxAI]: 介绍 VC-Attention：快速且准确的低比特注意力，无需重新训练。 在 MiniMax-H3 上，VC-Attention 相比 FlashAttention-4 在 B200 上提速 1.6 倍，在 B300 上提速 1.5 倍，且保真度优于 SageAttention2。它也能与现有的稀疏注意力方法配合使用。 两项关键创新： • V-Smooth 减少 value 量化误差。 • ExpCast-FP8 加速 softmax。 Nunchux Attenti…