AI 吃自己生成的内容，几代后会退化成一团废话？“模型坍塌”论文说了什么

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年，牛津、剑桥等机构的研究者发现：如果让新一代模型反复用上一代模型生成的内容训练，原始数据里的“长尾”会逐渐消失，输出越来越单调，最终可能变成近乎无意义的重复。这是在受控实验里（小模型、自行搭建的循环）观察到的现象，并非证明“今天的大模型必然会这样”。论文自己也提到，保留一部分真实数据能明显减缓退化。

发生在什么时候

这篇论文首次提交到 arXiv 是 2023 年 5 月 27 日，作者包括 Ilia Shumailov、Yarin Gal、Nicolas Papernot、Ross Anderson 等人。它不是最近的新闻，而是 ChatGPT 爆火后第一批认真追问“AI 把网络灌满之后会怎样”的论文之一。2024 年 4 月又有修订版，改了公式里的笔误。

论文想问什么

大模型的训练数据大量来自网页抓取。如果网上越来越多的文字本身就是模型写的，下一代模型吃的就是“上一代的输出”。这样一代代循环下去，会发生什么？

作者把这种现象叫作“模型坍塌”（Model Collapse）。据报道，这个名字是后来改的，早期版本叫“模型痴呆”，因为被指淡化了医学上的痴呆而作罢。

他们怎么做的

论文分三层来论证。

第一层是理论和最简单的玩具模型：从一个一维高斯分布出发，每一代只根据上一代生成的样本重新估计均值和方差，再从估计出的分布里采样。样本量有限时，估计误差会一代代累积，像随机游走一样漂移。

第二层是变分自编码器和高斯混合模型，也出现了类似的退化。

第三层是语言模型：用 Meta 的 OPT-125m 在 wikitext2 上微调，再让它生成同样规模的文本，作为下一代的训练集，如此循环。论文展示的例子里，第 0 代还在写关于教堂建筑的通顺句子，到第 9 代，内容已经变成一串重复的“黑尾长耳大野兔”之类的列表，跟原文毫无关系。

两个阶段

作者区分了“早期坍塌”和“晚期坍塌”。早期时，模型先丢掉分布尾部的内容，也就是那些低概率、罕见的信息，整体看起来变化不大，甚至指标还不错，所以不容易被发现。晚期时，不同的模式被混在一起，输出方差很小，和原始数据几乎不像了。

它说明了什么，没说明什么

最有意思的结论是：先消失的是“少数派”。罕见的事实、小众的写法、边缘群体的表达，会比常见内容更早被磨掉。

另一个结果是：在语言模型实验中，每一代保留随机 10% 的原始数据，只观察到轻微退化。也就是说，论文并没有声称“只要混进一点 AI 内容就会毁掉模型”。实验设定也相对极端：模型很小，每一代只用上一代的输出，现实里的训练数据混合要复杂得多。

作者的建议比较克制：需要想办法区分 AI 生成与人类写作的内容，并保留真实的人类数据。他们还认为，随着生成内容泛滥，真实的人类交互数据会变得更有价值。

后来呢

这篇论文让“模型坍塌”成了大众讨论 AI 与互联网内容污染的常用词。作者团队的扩展版随后发表在《自然》杂志（2024 年 7 月），标题改成了“AI models collapse when trained on recursively generated data”。此后关于“累积真实数据是否能避免坍塌”的后续研究也不少，结论取决于具体设定，这里不展开。

论文地址：arXiv:2305.17493