大模型“突然开窍”是真的吗？斯坦福论文：涌现可能只是评测指标挑出来的幻觉

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年的一篇论文认为，大模型“规模一大就突然学会某项能力”的涌现现象，很大程度上来自研究者选用的评测指标，而不是模型本身发生了突变。换成连续、平滑的指标，许多“断崖式跃升”就变成了平稳上升。但论文并没有证明大模型不存在任何涌现，它的结论是：已报告的涌现并不稳固，不应默认它是规模带来的根本性质。

这是一篇 2023 年的老论文（arXiv 于 2023 年 4 月 28 日提交），不是最近的新闻，但它至今仍是讨论“大模型会不会突然变聪明”时绕不开的参照。

背景：突然开窍的传说

此前有研究把“涌现能力”定义为：小模型没有、大模型才有的能力。它最让人着迷的两个特征是突然（性能近乎一夜之间从接近零跳起来）和不可预测（你没法从小模型的表现推出临界点在哪）。这个说法也加剧了人们对“再放大一点会冒出什么”的想象，甚至担忧。

论文做了什么

作者是斯坦福的 Rylan Schaeffer、Brando Miranda 和 Sanmi Koyejo。他们的思路很朴素：模型输出本身可能变化得很平滑，是“打分方式”把平滑变成了断崖。

比如用“答案必须完全正确”这种非线性、不连续的指标，模型只要还差一点就拿 0 分，一旦跨过门槛才突然拿分，曲线自然像开窍。换成能给“部分正确”打分的连续指标，曲线就平滑得多。

论文先用一个简单数学模型表达这个想法，再从三个方面检验：

• 用 InstructGPT/GPT-3 系列模型，在被称为出现涌现的任务上，对指标选择做出三个预测并得到验证；
• 对 BIG-Bench 做元分析，验证另外两个预测；
• 在多个视觉任务和不同的深度网络上，通过挑选指标人为“造出”看似涌现的能力。

它说明了什么，没说明什么

它说明：评估大模型时，指标选择和统计方式会深刻影响“有没有涌现”的结论，看到陡峭曲线先要问一句，是模型变了，还是尺子变了。

它没说明：大模型不会出现任何质变。作者的表述是，涌现“可能不是”规模扩大的根本性质，而不是断言它绝不存在。另一方面，如果你本来就只关心“完全答对”这种硬指标，那么在实际使用中，能力的确是从“不能用”变成“能用”的，只是这并不代表模型内部发生了突变。

后续

这篇论文随后在 NeurIPS 2023 作为口头报告（oral）发表，也成了此后讨论评测方法、规模定律可预测性时常被引用的一篇。

论文地址：arXiv:2304.15004