让模型把草稿写出来：2022 年的思维链论文，如何成了推理模型的起点
目录
配图：AI 生成的概念示意图，非论文原图或实验数据。
TL;DR：2022 年 1 月，Google Brain 的研究者发表论文，发现只要在提示里给几个「带推理过程」的示例，足够大的模型数学应用题准确率就会大幅提升。在 GSM8K 上，PaLM 540B 从 17.9% 升到 56.9%。这不是「随便加一句话就能涨分」：论文用的是示例，且效果只在约 1000 亿参数以上的模型里出现；它也不保证推理过程本身正确。
**这是 2022 年的旧事，不是今天的新闻。**论文 arXiv 首版发布于 2022 年 1 月 28 日，同年在 NeurIPS 2022 发表（来自 Google 的 Jason Wei、Denny Zhou 等九位作者）。之所以今天回头看，是因为它里面的想法，后来成了「推理模型」的一块基石。
背景：模型会聊天，但不会算题
2022 年初，大模型已经能写文章、答问题，但遇到需要多步推理的小学数学应用题就容易翻车。当时的常识是：模型越大越强，但在算术这类任务上，光把模型做大，提升并不明显。
论文做了什么
做法很朴素。传统少样本提示是给模型几组「问题 → 答案」；思维链（chain of thought，CoT）提示则把示例改成「问题 → 推理步骤 → 答案」，相当于让模型看到「草稿是怎么打的」，然后它在回答新问题时也会先写出自己的草稿，再给结论。
整个过程不需要微调，不改模型参数，只改了提示。
关键数字
- 在小学数学应用题基准 GSM8K 上，PaLM 540B 用标准提示的准确率是 17.9%，用 8 个思维链示例后是 56.9%，涨了 39 个百分点。
- 配合外部计算器处理基础算术后，论文报告为 58.6%；此前靠微调 GPT-3 并配验证器的最好成绩约 55%，被这种纯提示的方法超过。
- 论文同时在常识推理、符号推理任务上测试了三类模型，也看到了提升，但部分常识任务的增幅较小。
它的边界
首先是规模门槛。论文指出，思维链只在约 1000 亿参数以上的模型上带来收益；较小的模型写出的推理看着流畅却不合逻辑，成绩反而比不写还差。
其次，示例里的推理链是人工写的，而模型写出的步骤不保证正确，可能答案对、过程错，也可能反过来。
还要澄清一个常见误会：流传很广的「加一句『让我们一步步想』」，其实是后来另一项研究（零样本思维链）的做法，并不是这篇论文本身的方法。这篇论文用的是带推理过程的示例。
为什么重要
思维链第一次清楚地展示了：让模型多花一些「输出」去思考，可以换来更好的答案，而这种能力是靠提示就能激发出来的。后来的自洽解码（对多条推理路径投票，Google 博客称在 GSM8K 上达到 74%）以及把「先写推理再答」训练进模型本身的推理模型，都沿着这个方向走。把草稿写出来，不再只是提示技巧，而逐渐成了模型能力的一部分。
论文地址：arXiv:2201.11903