第 2026-11-09 期 · 行业追踪 · 研究 · 开源
研究者提出GAP架构:合并注意力与MLP的Transformer块
研究者提出GAP(门控注意力投影)架构,将注意力和MLP处理合并为单一门控块。在WikiText-103上测试,GAP20比标准Transformer参数少19.91%,但语言模型准确率略低;使用torch.compile后训练吞吐量提升约19.9%。
查看原文 ↗研究者提出GAP(门控注意力投影)架构,将注意力和MLP处理合并为单一门控块。在WikiText-103上测试,GAP20比标准Transformer参数少19.91%,但语言模型准确率略低;使用torch.compile后训练吞吐量提升约19.9%。
查看原文 ↗