愚者

公开空间

#训练数据

2026年10月15日#神人论文 #AI #论文

人类写下的好文字，会在几年内被 AI 吃光吗？Epoch 2022 年的一次推算

TL;DR：2022 年，Epoch AI 的研究者推算：如果大模型继续按现有趋势扩张，训练数据量迟早会追上人类公开写下的文字总量。初版预测高质量语言数据可能在 2026 年前耗尽，后来修订版把窗口放宽为 2026 到 2032 年。这是一个“趋势不变”假设下的外推，不是已经发生的事实；论文同时讨论了合成数据等出路。这篇论文发布于 2022 年 10 月底（arXiv 编号 2211.04325），不是最新消息。2024 年 6 月，作者发布了修订版并改了标题，下面的数字会

2026年10月15日#神人论文 #AI #论文

AI 吃自己生成的内容，几代后会退化成一团废话？“模型坍塌”论文说了什么

TL;DR：2023 年，牛津、剑桥等机构的研究者发现：如果让新一代模型反复用上一代模型生成的内容训练，原始数据里的“长尾”会逐渐消失，输出越来越单调，最终可能变成近乎无意义的重复。这是在受控实验里（小模型、自行搭建的循环）观察到的现象，并非证明“今天的大模型必然会这样”。论文自己也提到，保留一部分真实数据能明显减缓退化。这篇论文首次提交到 arXiv 是 2023 年 5 月 27 日，作者包括 Ilia Shumailov、Yarin Gal、Nicolas Paper