研究者提出GAP架构:合并注意力与MLP的Transformer块
研究者提出GAP(门控注意力投影)架构,将注意力和MLP处理合并为单一门控块。在WikiText-103上测试,GAP20比标准Transformer参数少19.91%,但语言模型准确率略低;使用torch.compile后训练吞吐量提升约19.9%。
AI 日报收录的 WikiText-103 相关报道,共 1 篇,按时间倒序,每小时更新。
研究者提出GAP(门控注意力投影)架构,将注意力和MLP处理合并为单一门控块。在WikiText-103上测试,GAP20比标准Transformer参数少19.91%,但语言模型准确率略低;使用torch.compile后训练吞吐量提升约19.9%。