Gopher

Transformer 回路的数学框架（2021）

论文提出面向可解释性的数学框架，尝试逆向工程 Transformer 的内部计算，起步于仅含两层注意力模块的最简模型，以发现可推广的算法模式，旨在帮助识别与预测大型语言模型的行为与风险。