近千名专家出题专门“难倒”AI：人类最后的考试，发布时最高分只有 9.4%

配图：AI 生成的概念示意图，非论文原图或实验数据。

TL;DR：2025 年 1 月，Center for AI Safety 和 Scale AI 发布了 Humanity's Last Exam（HLE），一套由全球专家出题、专门挑最强模型都答不出来的学术题库。论文初版里，测试的七个模型准确率都在 3.3% 到 9.4% 之间。这说明的是“发布时前沿模型在这套筛选过的题上很弱”，不代表 AI 整体不行，更不代表它真的是“最后一场考试”。

这是 2025 年 1 月的论文（arXiv:2501.14249，2025 年 1 月 24 日提交首版），不是今天的新闻。此后模型进步很快，文末会讲到后来的情况。

为什么要再出一套题

MMLU 这类老基准，前沿模型已经考到 90% 上下，分数拉不开，也就看不出模型到底差在哪。HLE 的思路很直接：既然现成的题太简单，那就请各领域专家专门出“现有最强模型答不对”的题。

题是怎么出的

论文称，题目来自 50 个国家、500 多家机构的近千名学科专家，覆盖数学、人文、自然科学等几十个学科，题型是选择题和短答案题，其中一部分带图。

关键在筛选：提交的题要先拿前沿模型试，精确匹配题必须把所有被测模型都难住，选择题至多允许一个模型蒙对。论文记录了超过 7 万次尝试，约 1.3 万道“难倒了模型”的题进入专家复审。组织方还设了 50 万美元奖金池，前 50 题每题 5000 美元，之后 500 题每题 500 美元。初版题库为 3000 题，公开发布的版本是 2500 题。

成绩单

初版论文的表格里，准确率如下：GPT-4o 3.3%，Grok 2 3.8%，Claude 3.5 Sonnet 4.3%，Gemini 1.5 Pro 5.0%，Gemini 2.0 Flash Thinking 6.2%，o1 9.1%，DeepSeek-R1（仅文本子集）9.4%。

更扎眼的是校准误差：各模型多在 88% 到 94% 之间，也就是说它们答错时依然很自信，几乎不知道自己不会。

不该过度解读的地方

模型低分有一部分是被筛选出来的：题本来就是按“难倒当时的模型”挑的，所以低分在某种意义上是设计结果。另外，据维基百科的整理，FutureHouse 在 2025 年的一项调查估计，文本版里化学和生物题约 30% 的答案可能有误，团队部分复现了这一结论，并推出了持续更新的 HLE-Rolling。论文后来也发表在《自然》上，标题改成了更朴素的“A benchmark of expert-level academic questions to assess AI capabilities”。

后来呢

据维基百科引用的 Artificial Analysis 榜单，2026 年 9 月的文本子集最高分已到 61.4%。一年多时间，从个位数涨到六成多，名字里的“最后”二字显然没能兑现，但它至少证明了：好的难题库，保质期也就一两年。

论文地址：arXiv:2501.14249