论文里的 delve 为什么突然多了？统计 1500 万篇摘要后，研究者估算至少 13.5% 有 LLM 参与

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：德国图宾根大学等机构的研究者统计了 2010–2024 年超过 1500 万篇 PubMed 摘要，发现 delves、showcasing、underscores 等“风格词”在 ChatGPT 流行后异常暴涨。据此估算，2024 年至少约 13.5% 的生物医学摘要经过大语言模型处理（预印本早期版本给出的是“至少 10%”）。这是群体层面的下限估计，不能指认某一篇论文用了 AI，更不等于这些论文有问题。

这件事发生在 2024 年，论文于当年 6 月以预印本形式发布，2025 年 7 月正式发表在《Science Advances》，并非今天的新闻。预印本最初的标题就叫“Delving into ChatGPT usage in academic writing through excess vocabulary”，后来改成了更严谨的 LLM 版本。

方法：借用“超额死亡”的思路

新冠期间，研究者常用“超额死亡”衡量疫情影响：拿实际死亡数和按往年趋势推算的数字对比。作者把同样的逻辑搬到词汇上：根据 2021 年及以前的趋势，预测每个词在 2023、2024 年“本该”出现的频率，再看实际多出多少，这就是“超额词汇”。

数据里的 delve

• 语料：2010–2024 年超过 1500 万篇 PubMed 摘要。
• 2024 年共识别出 454 个超额词（含词形变化）。
• “delves”的实际频率约为预期的 28 倍，“underscores”约 13.8 倍，“showcasing”约 10.7 倍。
• 在 2024 年的超额风格词里，约三分之二是动词，约 14% 是形容词。
• 对比往年：以前的超额词多是“新冠”“埃博拉”之类的内容词；这次的却大多是毫无话题色彩的风格词。

为什么说“至少 13.5%”

作者认为，这些风格词本来不该无故集体暴涨，唯一合理的解释是大量作者用 LLM 润色或改写了摘要。再按这些词的超额程度反推受影响摘要的比例，得到的是下限：2024 年至少 13.5%。

分领域看差异很大：计算机相关论文、非英语国家作者、部分期刊的占比更高，某些子语料库的下限接近 40%，例如来自中国的计算类论文约为 41%，来自韩国的 Sensors 期刊论文约为 34%。作者还指出，LLM 对科研写作的影响已超过新冠这类重大世界事件对词汇的影响。

该怎么读这个结果

首先，它测的是整体词频变化，而不是逐篇检测，所以没人能据此说“这篇是 AI 写的”。其次，用 LLM 润色语言（尤其是母语不是英语的作者）和让 AI 编造内容是两回事，论文并未判断后者。最后，这只是下限，只统计了“留下风格词痕迹”的部分。

不过作者也提醒，LLM 可能带来不准确、偏见和同质化等风险，而且这类“指纹词”一旦被大家知道，作者很可能会刻意删掉，之后的检测会更难。

论文地址：arXiv:2406.07016