想让 AI 做出新发现？先让它忘掉自己试过什么

配图：AI 生成的概念示意图，非论文原图、真实数据图或事件现场。

TL;DR：一篇 10 月 14 日提交到 arXiv 的论文《Scaling Discovery Requires Forgetting》指出，LLM 智能体做自动化研究时，无论跑得更久、并行多开还是共享结果，都会逐渐被自己的历史尝试"锚定"，收益趋于停滞。作者提出定期清空搜索状态、从当前最优候选重新开始，并报告在 4 类任务上最多比并行智能体高 15%、比同预算的单个智能体高 39%。这是预印本的自报结果，尚未见独立复现；"失忆"也不是万能药，而是让智能体少被旧路径拖住。

越试越保守的智能体

用 LLM 智能体做研究，常见思路是给它一个能打分的验证器：智能体提出改动、拿到分数、再继续改进。要把这套流程"放大"，通常有三条路：让一个智能体跑更久；同时开多个智能体并行跑；或者让并行的智能体互相看到对方的候选方案，在彼此基础上继续。

论文作者发现，这三条路最后都会撞墙。随着历史越积越多，智能体越来越依赖自己过去的尝试，每次做出的改动越来越少、越来越小，再投入算力也换不来多少提升。

办法：定期"清零"

作者给出的解法很干脆：每隔一段时间，把搜索状态整个丢掉，包括每个智能体的会话，以及候选方案的历史记录，只保留目前找到的最优候选，然后从它重新出发。

他们把这一机制实现在一个"会互相交流的智能体团队"里，并在 4 类任务上做了测试，涵盖启发式编程、内核（kernel）优化和模型训练。结果是：最多比并行智能体高 15%，比同预算的单个智能体高 39%。作者的结论是，智能体"被允许记住什么"，和它拿到多少算力一样重要。

作者阵容与需要留意的地方

论文由 Shangyin Tan、Ben Zhou、Lakshya A Agrawal 等人合著，作者中包括 Koushik Sen、Alex Dimakis 和 Matei Zaharia，主分类为 cs.AI。

需要注意几点。其一，15% 和 39% 都是"最多"，是在特定任务和对比设置下的最好成绩，不代表所有场景都能拿到。其二，摘要没有交代重置频率、各任务的具体指标和所用模型，这些要看全文。其三，目前只见到论文本身，没有找到独立团队的复现或报道。

不过这个思路有一点很耐人寻味：它把"遗忘"当成一种可调的算力之外的旋钮。对做自动化科研、自动调优的人来说，与其一味堆上下文和历史，不如先问一句：这些记忆，是在帮智能体，还是在困住它？

来源：arXiv 摘要页 | 论文地址：arXiv:2610.20563