给机器人一个“读档键”，它真能把球投得更准
目录
球撞上桶沿，弹了出去。再来一次，机器人得捡球、复位、重新投。但如果能回到球出手前的那一刻，换个动作看看结果呢？
电子游戏里的“读档重来”，成了 Rollback 的训练办法。这篇由智元机器人、北京航空航天大学和新加坡国立大学研究者合作的预印本，于 2026 年 10 月 26 日提交。它让机器人在世界模型里回到先前的决策点，比较不同动作的后果，再把这些比较用来改进真机。论文记录
AI 概念插画，以放置积木的不同结果比喻世界模型中的反事实分支，并非论文实验画面或系统界面。
一次失手，可以拆出好几堂课
这里的世界模型，可以理解成一个学出来的练习场：给它机器人当前看到的画面、关节状态和接下来要做的动作，它会预测之后的画面与身体状态。
关键是，这个练习场可以保存中间进度。
Rollback 从真实尝试中选出决策点，在同一段经历之后接上不同动作。此前发生的事情保持一致，系统便能比较：这一种出手容易成功，另一种容易投短。搜索会把更多计算放在有希望、值得进一步比较的分支上，再把结果变成动作训练数据。官方方法介绍
可以把它想成教练暂停一段录像，问：“就从这里开始，如果手再早一点松开，会怎样？”这个比喻对应的具体技术，是缓存世界模型的状态，再从那里生成不同的后续过程。
训练完成后，机器人直接使用练好的策略行动，正式投球时无需现场搜索整棵分支树。论文第 6.2 节
球确实投得更准了
作者在真机上测试了三个任务。与他们在同一世界模型上复现的 RISE 方法相比：
- 抽出积木、保持塔不倒：成功率从 58.67% 升到 69.33%。
- 把球投进桶：从 28.89% 升到 40.00%。
- 与人进行桌面冰壶对局：从 52.59% 升到 64.44%。
桌面冰壶里，人和机器人各出手两次，后出的石子可以撞走前面的石子，最后按位置决定胜负。官方结果与演示
投球尤其适合这种练法：早松手、晚松手、速度差一点，都可能改变整次尝试的结局。把比较集中到出手附近，比只给整段动作打一个“失败”更容易找出值得调整的部分。
想象出来的练习场，也要继续上课
世界模型也会预测错。论文展示过这样的情况：真实冰壶已经停在中心，冻结不再更新的模型却把它挪到了边缘。拿这种画面训练，动作好坏就可能被算错。
因此，真机持续收集新经历，世界模型跟着修正。在投球实验中，保持世界模型不变的版本最终只有 26.67% 成功率；完整方法达到 40.00%。论文第 6.4、6.7 节
这个循环很直观：机器人练习，暴露练习场预测不准的地方；练习场修正后，又能提供更有用的动作比较。
八小时背后，还有一套训练基础
论文中的八小时，是从已经预训练、经过任务预热的模型继续改进。这个阶段使用一台实体机器人，搜索与策略训练共配置 48 张 H200 GPU。
目前三个任务分别训练各自的策略，方法仍依赖任务专用的成功判断模型，长时间预测也会积累误差。实验的真机成绩按实际结果标注，想象中的分支才交给模型裁判。实验设置与附录
Rollback 最有意思的地方，是把一次真实经历反复用起来。球只投丢了一次，系统却能围绕那次出手，研究好几种可能的改法。
论文：Rollback: Experience Backtracking in World Models for Policy Improvement，首次提交 2026-10-26；完整论文；官方项目页。