一条直线押注万亿美元：2020 年的 Scaling Laws 论文，凭什么让行业相信“越大越聪明”？

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2020 年 1 月，OpenAI 的 Jared Kaplan 等人发表论文，发现语言模型的测试损失随参数量、数据量、训练算力的增长呈幂律下降，跨度超过七个数量级。这个结论让“加大规模”变成了一件可预测、可规划的事。但要注意：论文证明的是“损失下降有规律”，并没有证明“智能必然随之涌现”，其中的资源分配建议后来也被修正过。

时间说明：这是 2020 年的旧论文（arXiv 提交于 2020 年 1 月 23 日），不是最新消息。它的影响一直延续到今天。

背景：训练大模型像赌博

2020 年之前，训练一个更大的语言模型值不值，很大程度靠直觉。模型加宽还是加深？多喂数据还是多堆参数？预算有限时怎么分？没有人能给出可靠的答案。

论文做了什么

作者训练了大量不同规模的 Transformer 语言模型，系统地改变三样东西：模型参数量、数据集大小、训练算力，然后观察交叉熵损失怎么变化。

主要发现有几条：

• 损失与这三个量各自呈幂律关系。在双对数坐标下，它们几乎是一条直线，趋势跨越了超过七个数量级。
• 网络的具体形状（深度、宽度等）在很大范围内影响很小，规模本身才是主角。
• 过拟合、训练速度等现象，也能用简单公式描述。
• 大模型的样本效率更高。在固定算力下，最优做法是训练很大的模型、用相对少的数据、在远未收敛时就停下。

论文给出的拟合指数里，损失对参数量的指数约为 0.076，对数据量约为 0.095。数字很小，意思是：想让损失明显下降，需要成倍乃至成数量级地增加资源。

为什么它改变了行业

一条直线的价值在于可以外推。只要相信曲线不会突然拐弯，就能用小模型的实验预测大模型的表现，再据此决定要不要花几千万美元去训练。这给了巨额算力投入一个“理性”的依据。GPT-3（1750 亿参数，约 3000 亿 token）几个月后问世，被普遍视为这一思路的实践。

它不能证明什么

第一，损失下降不等于能力按同样节奏提升。论文衡量的是语言建模的损失，不是推理或“聪明”程度。

第二，它是经验拟合，不是定理。外推到论文没覆盖的范围，没有保证。

第三，具体建议后来被修正。2022 年 DeepMind 的 Chinchilla 论文（arXiv:2203.15556）指出，Kaplan 一派的结论让模型偏大、数据偏少，最优做法应让参数与数据大致同比例增长。此后又有研究认为，差异的主要来源之一是 Kaplan 只统计非嵌入参数，且实验规模较小。

余波

“Scaling Laws”成了大模型时代的通用词汇。即使具体系数被改写，“规模可预测地换来性能”这个核心信念，仍然是此后几年算力竞赛的底层逻辑。而它是否会遇到瓶颈，至今仍是争论焦点。

论文地址：arXiv:2001.08361