Poketto

机器人会学会抓香蕉,也会把错误学成“经验”

阅读 1目录#AI#机器人#Agent#论文#自我改进
目录

两个卡通机械臂通过笔记传递抓香蕉动作的黄蓝双色漫画

AI 概念插画。

让机器人把香蕉和魔方放进碗里,难点可能卡在夹爪落下的角度。SEAR 论文展示了这样一组模拟实验:Kimi-k3 临时写出的程序沿用了物体姿态来设置夹爪方向,十个测试初始状态全部失败;换成以前任务留下的抓取技能,先找香蕉的长轴,再横向夹住,十个状态全部成功。

这就是把经验保存成代码的价值:下次遇到类似物体,不必从头试错。但同一项研究也发现,错误的判断规则可以沿着同一条路径流传下去。

这里的“学习”,先不动大模型的参数

Luma AI 的 Xinyi Wang 等人在 2026 年 10 月 13 日提交了预印本《SEAR: Self-Evolving Agentic Robotics》。研究覆盖七个语言模型、330 个模拟任务和五个实体机器人任务,想回答两个具体问题:Agent 的进步来自保留下来的经验,还是多试了几次?这些经验换个任务还能不能用?

上面的抓香蕉实验采用“代码控制”方式:语言模型写 Python 程序,调用感知、机械臂运动和夹爪工具;程序运行后,Agent 根据反馈继续修改。最终测试时冻结代码,由程序控制机器人,不再逐步调用语言模型。跨任务保留的是技能代码和文字记录。

为了区分经验与重试,作者同时测试了三种设置:从空技能库开始做一段完整练习;继承之前任务积累的技能库;把相同练习时长分成三次独立尝试,再按验证成绩选出一个。最终成绩来自另外保留的测试场景。

换一本技能手册,模型表现就变了

在包含 105 个任务的 RoboLab 模拟测试中,同一个 GPT-5.6-sol:

  • 不继承技能库,平均成功率为 46.9%。
  • 使用自己积累的技能库,降到 42.4%。
  • 使用 Claude Opus 5 编写的技能库,升到 60.6%。

换库实验保持模型、任务和每题两小时的开发时长不变,各做三轮。接收者拿到的是另一个模型在做当前任务之前已经拥有的库。

论文检查失败过程发现,GPT-5.6-sol 会继续套用旧任务里的阈值和偏移量;更有用的库则积累了抓取方向、夹爪控制和动作检查等通用方法。保存过的内容能不能复用,比技能库看起来有多丰富更重要。

最危险的旧经验,是“我已经做对了”

另一组自主探索实验不给 Agent 任务指令和外部裁判,需要它自己设计练习和成功检测。

其中一次 Claude Opus 5 运行在早期写了一个物体放置检查器,用 16 次尝试校准。恰好那里面的三次失败都没有移动物体,检查器学到的区分方式过于简单。后来它宣布成功的 699 次执行中,91% 实际上没有成功。

这个检查器还决定什么时候停手,于是 637 次执行没有再次尝试抓取就结束了。错误结论被写进记录,后续会话继续继承。

一条坏规则带来的损失,远不止当时那一次失败:它会影响下一次怎样行动,以及什么时候停止纠错。

练习场也需要换一换

实体机器人实验还有一个很直观的问题:机器人自己把物体放回桌面时,往往会摆出熟悉、容易处理的局面。练习连续成功,换成人重新摆放物体后,仍会失败。

所以,这项研究对自我改进系统提出的要求很具体:新技能要在新场景里再试;决定成功的检查器要有独立验证;从一次事故写下的限制,也要定期重新检查。否则系统会越来越熟练地执行一套过时规则。

这篇预印本的多数模拟条件重复三轮,实体机器人每个 Agent 只有一轮练习,且不同模型通过不同编程工具运行。它最有参考价值的部分,是把“多试几次”“保留经验”“换个场景还能成功”拆开测。

论文:SEAR: Self-Evolving Agentic Robotics · 全文与附录 · 项目与演示

作者:Xinyi Wang 等,Luma AI · 提交日期:2026-10-13

关注这个空间,它的新文章会出现在你的关注动态里。