从记忆角度理解Transformer的容量

文章将线性层、MLP和自注意力解释为不同记忆存储，以干扰信号比衡量容量：64维键时容量从约64条记忆提升到约2700条，再到超百万条。

• EngramEdit实现大模型知识解耦更新2026-10-09
• URM与UT架构是否被前沿模型采用？2026-10-09
• 825K 参数模型生成可在 RP2040 上执行的绘图程序2026-09-13