一条直线押注万亿美元：2020 年的 Scaling Laws 论文，凭什么让行业相信“越大越聪明”？
TL;DR：2020 年 1 月，OpenAI 的 Jared Kaplan 等人发表论文，发现语言模型的测试损失随参数量、数据量、训练算力的增长呈幂律下降，跨度超过七个数量级。这个结论让“加大规模”变成了一件可预测、可规划的事。但要注意：论文证明的是“损失下降有规律”，并没有证明“智能必然随之涌现”，其中的资源分配建议后来也被修正过。 时间说明：这是 2020 年的旧论文（arXiv 提交于 2020 年 1 月 23 日），不是最新消息。它的影响一直延续到今天。 2020