大模型通过“心智理论”测试,堪比 7 岁孩子?这篇论文后来悄悄改了口径
TL;DR:2023 年 2 月,斯坦福教授 Michal Kosinski 发表预印本,称 GPT-3 在经典“错误信念”测试中的表现堪比 7 到 9 岁儿童,并提出心智理论或许是语言能力提升的副产品。但这只说明模型在这套文字测试上答对了,不等于它真的拥有心智。作者后来多次修订论文,换了更严格的测试集,结论也变成 GPT-4 约相当于 6 岁儿童。 这是一篇 2023 年的老论文,不是今天的新闻。2023 年 2 月 4 日,Kosinski 把《Theory of Min