人类写下的好文字，会在几年内被 AI 吃光吗？Epoch 2022 年的一次推算
目录
配图：AI 生成的概念示意图，非论文原图或实验数据。
TL;DR：2022 年，Epoch AI 的研究者推算：如果大模型继续按现有趋势扩张，训练数据量迟早会追上人类公开写下的文字总量。初版预测高质量语言数据可能在 2026 年前耗尽，后来修订版把窗口放宽为 2026 到 2032 年。这是一个“趋势不变”假设下的外推，不是已经发生的事实；论文同时讨论了合成数据等出路。
这篇论文发布于 2022 年 10 月底（arXiv 编号 2211.04325），不是最新消息。2024 年 6 月，作者发布了修订版并改了标题，下面的数字会注明出自哪一版。
它在问什么
大模型的能力，很大程度上靠“更多算力加更多数据”堆出来。算力可以靠买芯片、建机房解决，但人类公开写下的文字总量有限。作者想知道：数据会不会先成为瓶颈？
方法并不玄妙：一边估算网络上可用的人类文字存量及其增长速度，一边根据近年的趋势推算模型训练用的数据量会涨多快，看两条线什么时候相交。
两个版本，两组数字
初版把数据分成高质量语言、低质量语言和图像三类。按 Epoch 当时的总结，高质量语言数据可能在 2026 年之前用完；低质量语言数据大约在 2030 到 2050 年之间，图像数据在 2030 到 2060 年之间。
修订版把重点收窄到“公开的人类文字”，结论是：如果趋势延续，模型训练所用的数据集规模，将在 2026 到 2032 年之间追平这批文字的总量；如果模型被训练得“过量”（用远超算力最优配比的数据反复训练），时间还会更早。
注意，两版的口径不同，不能把“2026 年”和“2026 到 2032 年”当成同一个结论来对照。
为什么不是“末日预言”
作者自己强调，结论建立在两个很强的假设上：现有的数据使用与产出趋势不变，数据利用效率也没有重大突破。现实里这两条都可能被打破。
论文也列出了三条可能的出路：用模型生成合成数据、从数据丰富的领域做迁移学习、提高数据利用效率。换句话说，“人类文字用完”更像是一个换挡点，而不是一堵墙。至于这些办法能走多远，论文并没有给出定论。
它为什么值得读
这篇论文把“数据会不会不够”从一句玩笑变成了可以讨论、可以被反驳的估算。你可以质疑存量估计、质疑增长趋势，但至少有了一个共同的算账框架。
读的时候别忘了看清它在说什么：不是“AI 会读完全世界”，而是“按当时的趋势，训练集的体量会逼近公开人类文字的总量”。
论文地址：arXiv:2211.04325