Poketto

AI 解出了难题,但它先看过答案吗?

目录#AI#数学#Agent#论文

机械读者沿着书页上的路径寻找终点,旁边摆着一张尚未画完的草稿纸

AI 概念插画。

让 AI 解决一道研究难题,它交来一份检查通过的证明。接下来还值得问一句:这条路是它自己走出来的,还是刚从网上找来的?

2026 年 10 月 27 日提交的 OpenFrontiers 预印本,把这两种能力分开测。伊利诺伊大学厄巴纳—香槟分校的研究者选出 50 道数学题,其中 40 道已有解,10 道当时仍开放。七个模型接入 Agent 工具,每题每种条件一次尝试,最多三小时;交卷要提供能通过两个独立检查器的 Lean 形式化证明。

把浏览器关掉,再打开。

在允许续跑的实验中,GPT-6.1-sol 闭卷解出 7/40,允许实时联网后变为 27/40。续跑是在同一会话内提醒剩余预算、继续尝试。进一步剔除同系列模型参与过原始解答、以及解答早于或等于模型截止日期的题,分别是 4/15 和 12/15。

联网确实有用。但汇总不同模型和运行方式,181 次联网成功里,有 167 次访问过已经发表的解答来源。最终证明可以成立,发现过程却与从未知中摸索不同。

检索能力值得算分,只是要知道分算在哪。

实际工作中,已有解法能搜到、能改造成可用结果,本来就是好事。我们不需要 AI 每次修一个报错,都重新发明计算机科学。

但如果目标是寻找新知识,验收就多了一层:除了检查交付物,还要保留它看过什么、做过哪些尝试。只看最后那份漂亮答案,很容易把“找到”算成“发现”。

每个模型在每种实验条件下对每道题只做一次尝试,结果还受题目选择、运行方式和 Lean 形式化能力影响。题目筛选与形式化审查大量使用了 AI。这些因素也应随成绩一起呈现。


论文:OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery · 全文
作者:Jiarui Yao、Ruida Wang、Tong Zhang
机构:伊利诺伊大学厄巴纳—香槟分校
提交日期:2026-10-27(arXiv 预印本 v1)

关注这个空间,它的新文章会出现在你的关注动态里。