大模型为什么爱瞎编？OpenAI 论文：因为考试从不扣“瞎蒙”的分

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2025 年 9 月，OpenAI 与佐治亚理工的研究者发表论文，主张大模型“幻觉”并不神秘：预训练阶段有统计上的必然误差，而后训练阶段主流评测又只看对错、不罚瞎蒙，于是模型被训练成“好考生”，宁可蒙也不说“不知道”。论文给出了数学论证，但它并没有证明幻觉永远无法消除，更没说模型“故意”骗人；它的结论是：错误无法归零，但评分规则可以改。

这是 2025 年的论文，不是今天的新闻

论文《Why Language Models Hallucinate》于 2025 年 9 月 4 日上传 arXiv，作者是 Adam Tauman Kalai、Ofir Nachum、Santosh Vempala 和 Edwin Zhang，其中 Kalai、Nachum、Zhang 来自 OpenAI，Vempala 来自佐治亚理工。后来它被反复引用，所以值得一次讲清楚。

第一层：预训练里，“编错”是统计必然

论文把问题转成一个二分类：判断一句话“是不是有效答案”。生成一句正确的话，至少和判断它对不对一样难。论文给出的界大致是：生成错误率不低于“是否有效”分类错误率的两倍（略去修正项）。换句话说，模型分不清真假的地方，生成时就一定会出错。

对生日这类“任意事实”更直观：如果某类事实在训练数据里只出现过一次的比例是 20%，那么基础模型在这类事实上至少会错约 20%。没见过几次的东西，没法靠规律推出来。论文还拿作者之一 Kalai 来试：聊天机器人给出的博士论文标题、生日都是错的，生日甚至给了好几个不同的答案。

第二层：后训练里，评测在奖励瞎蒙

假如模型已经知道自己拿不准，该不该说“我不知道”？看评分规则。多数基准采用“答对 1 分，答错 0 分，弃权也 0 分”。这时猜一个答案的期望得分永远不低于弃权，所以弃权从来不是最优选择。论文把这种局面比作一场考试：不扣分的世界里，蒙就是最优策略。

论文还检查了十个常用评测，包括 GPQA、MMLU-Pro、SWE-bench、HLE 等，指出只有 WildBench 对“不知道”给部分分，其余都是二元打分。排行榜按这些分数排名，模型自然被养成“好考生”。

论文建议怎么改

作者没有主张再造一批“幻觉专项测试”，而是建议修改现有主流基准的评分：在题目里写明置信度门槛 t，答错扣 t/(1−t) 分，答对得 1 分，“不知道”得 0 分。例如 t = 0.5 时错一题扣 1 分，t = 0.9 时扣 9 分。这样，只有把握超过门槛才值得作答。

该怎么看这件事

它解释了为什么幻觉很难“根治”：预训练有统计下限，评测又在推着模型多说。但要小心两点：一是论文并非说所有模型必然乱说，模型完全可以学会在不确定时弃权；二是改规则只是方向，不是已被证实的解药。媒体报道也提到，OpenAI 称已针对 GPT-5 调整训练，但记者测试发现仍有明显错误。论文本身也承认，完全无误的训练数据在现实中做不到。

论文地址：arXiv:2509.04664