给“Attention Is All You Need”抬杠：纯注意力堆深了，会以双指数速度“崩秩”

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2021 年的一篇论文证明，如果把自注意力层单独堆叠、不加跳连（残差）和 MLP，输出会随深度以双指数速度趋近秩为 1 的矩阵，也就是所有 token 变得几乎一样。跳连和 MLP 能抑制这种退化。这并不是说 Transformer 本身有问题：真实模型本来就带着跳连和 MLP。论文说明的是它们为什么不可或缺，而不是注意力“没用”。

这是 2021 年 3 月提交到 arXiv 的老论文，后来发表于同年的 ICML，并非最近的新闻。作者是 Yihe Dong、Jean-Baptiste Cordonnier 和 Andreas Loukas，标题明显在向 2017 年的《Attention Is All You Need》致敬兼抬杠。

背景： Transformer 的核心是自注意力，大家都知道它好用，但“为什么好用、哪些部件真正在起作用”其实没那么清楚。论文想回答的就是：把注意力拆开看，它自己到底有什么倾向。

做了什么： 作者把自注意力网络的输出拆成许多小项，每一项对应一条“穿过各层注意力头的路径”。借助这个分解，他们论证：自注意力天然偏向让所有 token 趋同，论文称之为“token uniformity”的归纳偏置。

关键结论： 如果网络里只有注意力层，没有跳连也没有 MLP，那么输出矩阵会随层数增加，以“双指数”速度收敛到秩 1。双指数的意思是，每多一层，距离秩 1 的差距不是按固定比例缩小，而是连指数本身都在指数级变小，所以崩得极快。秩 1 意味着每个 token 的表示几乎相同，信息基本丢光。

那为什么实际模型没崩？ 论文指出，跳连和 MLP 能阻止这种退化。作者还在若干标准 Transformer 变体上做了实验，结果与理论一致。换句话说，残差连接和前馈层不是可有可无的装饰，而是让深层注意力网络保持表达力的必要条件之一。

为什么值得看： 它给了“残差和 MLP 为什么重要”一个理论解释，也让“Attention is all you need”这句口号多了一个脚注：光有注意力不够，至少堆深以后不够。需要提醒的是，论文的理论针对的是纯自注意力的设定，不能直接推出“真实大模型会崩”之类的结论。

论文地址：arXiv:2103.03404