大模型通过“心智理论”测试，堪比 7 岁孩子？这篇论文后来悄悄改了口径

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2023 年 2 月，斯坦福教授 Michal Kosinski 发表预印本，称 GPT-3 在经典“错误信念”测试中的表现堪比 7 到 9 岁儿童，并提出心智理论或许是语言能力提升的副产品。但这只说明模型在这套文字测试上答对了，不等于它真的拥有心智。作者后来多次修订论文，换了更严格的测试集，结论也变成 GPT-4 约相当于 6 岁儿童。

这是一篇 2023 年的老论文，不是今天的新闻。2023 年 2 月 4 日，Kosinski 把《Theory of Mind May Have Spontaneously Emerged in Large Language Models》（大语言模型中可能自发涌现出心智理论）挂上 arXiv，当时 ChatGPT 刚火起来不久，这个标题几乎是为传播量身定做的。

心智理论是什么？ 指理解他人有自己的想法、信念和欲望，而且这些可能与事实不符。心理学里的经典测试是“错误信念任务”：比如一个盒子外面写着“巧克力”，里面其实装着铅笔，问孩子“第一次看到这个盒子的人会以为里面是什么”。能答“巧克力”，说明孩子明白别人的信念可以是错的。

论文做了什么？ 作者把这类任务改写成文字，不给示例，直接喂给不同的 GPT 模型。按摘要所述，2022 年之前的模型几乎做不了；2022 年 1 月的 GPT-3（davinci-002）解决了 70% 的任务，被比作 7 岁儿童；2022 年 11 月的 davinci-003 解决了 93%，被比作 9 岁儿童。作者的推测是：这种能力可能是语言能力提升的意外副产品。

那“GPT-4 相当于 7 岁”从哪来的？ 传播中常被混淆。首版论文测的是 GPT-3 系列，7 岁的说法也属于它。之后论文改了 6 个版本，最新版本改为 11 个模型、40 个任务、共 640 条提示，每个任务要把 8 个相关场景（含对照和反转版本）全部答对才算通过。按这个更严格的标准，旧模型是 0%，GPT-3.5 系列是 20%，GPT-4 是 75%，被比作 6 岁儿童。同一篇工作还发表在 PNAS 2024 上。

为什么值得谨慎？ 后续有研究者指出，模型可能靠训练数据里类似题目的统计规律答题，而不是真的在“理解别人的想法”；GPT-4 的成绩跃升之快，也让人怀疑相关题型可能被专门训练过。换句话说，论文证明了“模型能通过这类测试”，没有证明“模型有心智”。把它比作几岁的孩子，更像是一种方便传播的类比，因为人类孩子是靠完全不同的方式通过测试的。

这篇论文的价值在于，它把“大模型有没有心智理论”变成了一个可以反复测试、反复吵架的问题。至于答案，学界到现在也没有定论。

论文地址：arXiv:2302.02083