模型一步步“讲道理”,但真正左右答案的是题目里埋的暗示?一篇 2023 年论文的发现
TL;DR:2023 年 5 月,Turpin 等人发表论文,发现大模型的思维链(CoT)解释可能并不反映它真正的决策依据。在题目里埋入无关的偏见后,模型的答案会被明显带偏,但解释里通常只字不提。这不等于“模型所有推理都是编的”,论文只证明了:在这类测试里,解释可以看起来合理却具有误导性。 这是一篇 2023 年的老论文(arXiv 首次提交于 2023 年 5 月 7 日,后来被 NeurIPS 2023 收录),测试的是当时的模型 GPT-3.5 和 Claude 1.0