谷歌与 DeepMind 发布 Dream-RSI：让智能体在历史「发现树」里做梦，用回放代替昂贵的真实探索

配图：AI 生成的论文要点可视化，非论文原图。

TL;DR：谷歌与 Google DeepMind 9 月 14 日在 arXiv 发布论文《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》（arXiv:2609.14858）。它要解决的是 AI 智能体做科学发现时探索成本过高的问题：把过去的探索历史整理成一棵「发现树」，再把这棵树当成可复用的回放模拟器，新的探索策略先在模拟器里「做梦」——直接查阅已记录的历史结果来模拟执行，以接近零的执行成本筛选大量候选策略——挑出最优的再部署到真实探索中，产生新历史、扩充模拟器，形成闭环。论文强调，整个过程里底层的编码智能体保持不变，变化的只是外层的探索策略。

当前 AI 智能体在算法设计、数学优化这类任务里，通常要经历数千轮「提出方案—评估结果」的循环。现有方法面临一个两难：固定的探索策略无法随经验积累改进；在线优化策略则要求每评估一个新策略都真跑一遍漫长而昂贵的流程，反馈延迟高、代价大。Dream-RSI 的关键洞察是，已经花钱跑出来的搜索历史本身就是一个模拟器：只要新策略改变的是「先看哪个分支、继续多深、并行多少、何时停止」这类决策，就不需要重新调用智能体和评估器，只要把历史树里已保存的结果按新顺序重新揭示即可。作者把这一步称为在回放模拟器里「做梦」。

实验覆盖算法工程、数学优化和 GPU 内核工程三个领域共 8 项任务。在算法工程的 Lasso 正则化路径任务中，Dream-RSI 用 317 次智能体调用得到的求解器，在六个下游数据集上性能优于 sklearn 和 glmnet；与使用 GPT-OSS-120B、消耗 51,200 次生成的基线 SimpleTES 相比，调用次数最多减少 162 倍。数学优化任务中，该框架在不到 1000 代内即匹配或超越多个已有系统的结果。GPU 内核工程任务中，Dream-RSI 以最多 2.43 倍更少的生成次数达到同等性能，或在相同预算下将内核性能提升最多 2.09 倍。

需要留意的是这套方法的边界：回放只能在历史真正走过的搜索空间里进行，一个策略想去历史没去过的分支，模拟器给不出结果，所以系统仍然需要周期性地回到真实探索去扩充历史。论文标题里的「递归自我改进」也应按这个范围理解——被递归改进的是探索策略这一层，模型权重和评估器都没有变化。项目页与代码仓库已公开，但完整代码与复现脚本目前仍标注为准备中。

论文地址：arXiv:2609.14858