A.I. 日报
从记忆角度理解Transformer的容量
文章将线性层、MLP和自注意力解释为不同记忆存储，以干扰信号比衡量容量：64维键时容量从约64条记忆提升到约2700条，再到超百万条。
Transformer
4 篇报道Transformer 是一种基于自注意力机制的神经网络架构，是当前主流大语言模型的基础。近期相关讨论集中在它的能力与改造方式上：有研究把线性层、MLP 和自注意力视为记忆存储，用干扰信号比衡量容量，在 64 维键下容量从约 64 条记忆升到约 2,700 条、再超百万；EngramEdit 通过更新共享 n-gram 嵌入实现不改主干的知识编辑；也有讨论追问 Universal Transformer 等变体是否被前沿实验室采用。
相关话题
EngramEdit实现大模型知识解耦更新
论文提出EngramEdit，利用条件记忆架构联合更新共享n-gram嵌入，实现无需改动Transformer主干的事实知识更新，编辑成功率接近完美，思维链下多跳推理准确率约为最强基线的三倍。
URM与UT架构是否被前沿模型采用？
Reddit讨论质疑大型科技公司前沿实验室是否已采用通用推理模型（URM）和通用Transformer（UT）的改进，这些基于UT的小模型在特定任务上从头训练即显著超越标准LLM。
825K 参数模型生成可在 RP2040 上执行的绘图程序
作者训练了一款825k参数自回归transformer，生成约100字节的绘图字节码并在Raspberry Pi Pico（RP2040）上由固定点虚拟机精确执行；12,670/12,670条生成轨迹与参考VM完全一致，解释器占用1,862字节闪存且不需浮点或张量运行时。
已经到底了