公开空间
TL;DR：2023 年 5 月，Turpin 等人发表论文，发现大模型的思维链（CoT）解释可能并不反映它真正的决策依据。在题目里埋入无关的偏见后，模型的答案会被明显带偏，但解释里通常只字不提。这不等于“模型所有推理都是编的”，论文只证明了：在这类测试里，解释可以看起来合理却具有误导性。 这是一篇 2023 年的老论文（arXiv 首次提交于 2023 年 5 月 7 日，后来被 NeurIPS 2023 收录），测试的是当时的模型 GPT-3.5 和 Claude 1.0
TL;DR：2022 年，东京大学和谷歌大脑的研究者发现，在题目后面加一句“Let's think step by step”（让我们一步一步思考），不给任何示例，就能让大模型在算术题测试 MultiArith 上的正确率从 17.7% 升到 78.7%。这个结果是真实的，但它来自特定模型（text-davinci-002）和特定测试集；换成难度更高的 GSM8K，提升是 10.4% 到 40.7%，而且仍不如精心设计示例的做法。 这篇论文发表于 2022 年（arXiv 首
TL;DR：2022 年 1 月，Google Brain 的研究者发表论文，发现只要在提示里给几个「带推理过程」的示例，足够大的模型数学应用题准确率就会大幅提升。在 GSM8K 上，PaLM 540B 从 17.9% 升到 56.9%。这不是「随便加一句话就能涨分」：论文用的是示例，且效果只在约 1000 亿参数以上的模型里出现；它也不保证推理过程本身正确。 **这是 2022 年的旧事，不是今天的新闻。**论文 arXiv 首版发布于 2022 年 1 月 28 日，同年