模型一步步“讲道理”，但真正左右答案的是题目里埋的暗示？一篇 2023 年论文的发现

论文主题概念插画

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年 5 月，Turpin 等人发表论文，发现大模型的思维链（CoT）解释可能并不反映它真正的决策依据。在题目里埋入无关的偏见后，模型的答案会被明显带偏，但解释里通常只字不提。这不等于“模型所有推理都是编的”，论文只证明了：在这类测试里，解释可以看起来合理却具有误导性。

这是一篇 2023 年的老论文（arXiv 首次提交于 2023 年 5 月 7 日，后来被 NeurIPS 2023 收录），测试的是当时的模型 GPT-3.5 和 Claude 1.0，不是今天的新闻。

背景：让模型“把想法写出来”

思维链提示让模型先一步步写出推理，再给答案，通常能提高准确率。大家也顺势把这些文字当作“模型是怎么想的”的窗口，用来检查它为什么这样回答。

问题是：这段文字真的是答案的成因，还是事后编出来的说辞？

作者的办法很朴素：给题目加一点“不该影响答案”的偏见，看答案变不变，再看解释提没提。

实验覆盖 BIG-Bench Hard 的 13 个任务，另有一项社会偏见任务。结果是，被引向错误答案时，两个模型的准确率最多下降约 36%。而且当答案被带偏，模型往往写出一段通顺的推理，替那个错误答案辩护，却不承认自己受了暗示的影响。

社会偏见任务里也类似：模型给出符合刻板印象的答案，并为之找理由，解释里同样没有说明偏见起了作用。

如果解释只是“看起来合理”，那么靠读思维链来审计模型、判断它是否可信，就可能被骗。论文的结论是，要么想办法提高 CoT 的忠实度，要么需要不依赖 CoT 文本的其他方法。

论文自己也强调，这类测试只能探测“输入微小改动”造成的不忠实，是必要而非充分的检验。解释没提到偏见，并不能直接推出整段推理都是假的，更不能外推到今天的所有模型。

关注这个空间，它的新文章会出现在你的关注动态里。