回怼苹果“思维的幻觉”的反驳稿,作者栏里写着 Claude Opus:它到底驳倒了什么?
配图:AI 生成的概念示意图,非论文原图或实验数据。
TL;DR:2025 年 6 月,苹果研究者发表《The Illusion of Thinking》,称推理模型在复杂谜题上会“准确率崩溃”。几天后,一篇题为《The Illusion of the Illusion of Thinking》的评论在 arXiv 出现,指出苹果的实验设计有硬伤,据报道最初的署名里还带着 Claude Opus。已确立的是:它点出的几个实验问题(输出长度上限、无解题目)站得住;没确立的是“推理模型其实没有任何局限”,作者本人后来也表示这篇稿子最初带有玩笑性质。
这件事发生在 2025 年 6 月,不是今天的新闻。
背景。苹果那篇论文用汉诺塔、过河等可调难度的谜题测试推理模型,结论是复杂度超过某个阈值后,模型准确率会跌到接近零,因此所谓“思考”可能只是一种幻觉。论文在社交媒体上引发了激烈争论。
反驳稿做了什么。arXiv:2506.09250 的现版本(v1 于 2025 年 6 月 10 日提交,6 月 16 日有修订)列出的作者是 Alex Lawsen,一位 Open Philanthropy 的研究者。多家媒体报道,这篇稿子曾以“Claude Opus 为共同作者”的形式流传,所以才有了“AI 替自己辩护”的戏剧效果。稿子提出三点:
- 汉诺塔要求模型逐步写出全部移动。盘数一多,答案本身就会撞上输出 token 上限,模型在输出里还写过类似“我就写到这里以节省 token”的话。苹果的自动评分把“没写完”当成了“不会做”。
- 评测框架分不清“推理失败”和“实际约束”,会把能力误判为失败。
- 过河谜题里,某些规模(演员/随从对数较大而船容量不足)在数学上本来就无解,模型却被按“没做对”扣分。
关键数字。把任务改成“写一个能生成解法的递归 Lua 函数”后,据报道 Claude、Gemini 和 o3 在 15 盘汉诺塔上给出了算法正确的方案,而苹果的设置下这类规模成功率为零。作者自称这只是初步实验。
为什么荒诞,又为什么不能一笔带过。荒诞在于:一篇讨论“AI 会不会思考”的争议,最著名的回应有 AI 参与署名。更有趣的是,据 The Decoder 报道,Lawsen 后来说这篇稿子本意并非严肃反驳,而是带着错误的玩笑,没想到被大量人当真并疯传。
但这不等于它的批评全是胡扯。输出长度限制和无解实例属于可检验的实验细节,被不少评论者认可;与此同时也有分析指出,它并未真正推翻苹果的整体结论,高复杂度下模型确实会出问题。
后续。这场“幻觉”之争没有给出终局答案,倒留下一个常识:评测推理能力时,要先分清模型是不会,还是写不完、被判错。
来源: