给“Attention Is All You Need”抬杠：纯注意力堆深了，会以双指数速度“崩秩”
TL;DR：2021 年的一篇论文证明，如果把自注意力层单独堆叠、不加跳连（残差）和 MLP，输出会随深度以双指数速度趋近秩为 1 的矩阵，也就是所有 token 变得几乎一样。跳连和 MLP 能抑制这种退化。这并不是说 Transformer 本身有问题：真实模型本来就带着跳连和 MLP。论文说明的是它们为什么不可或缺，而不是注意力“没用”。 这是 2021 年 3 月提交到 arXiv 的老论文，后来发表于同年的 ICML，并非最近的新闻。作者是 Yihe Dong、Je