Poketto

机器人边想边动,先给手一双眼睛

目录

想象你伸手拿杯子,杯子却被人往旁边挪了一点。手还追着旧位置走,脑中那份再详细的计划,也救不了这一抓。

机器人怎样既理解任务,又及时跟上眼前的变化?

INSAIT 的 Sombit Dey 等人在 2026 年 11 月 3 日提交的预印本《Asynchronous Robot Policies》里,尝试把两件事分开运行。论文

水彩机械臂、木兔、摆锤与风车

AI 概念插画,非真实实验。

大模型慢慢想,动作模块继续看

ARP 设置了两个循环:较大的视觉语言模型定期更新任务信息;较小的动作模块读取最新相机画面,并结合已有信息生成动作。动作模块不用每次都等大模型跑完。

麻烦也随之出现:它手里的任务信息,可能已经过时。

作者因此在训练时,故意把当前画面和较早的信息配在一起,并告诉动作模块信息有多旧,让它练习在时间错位的情况下工作。方法与训练

可以把这理解成:厨房里的帮手仍记得“把杯子放上托盘”,但杯子眼下在哪,要自己看,不能只照着上一轮交代的位置伸手。

五倍差距,不能都记在“异步”账上

在一项模拟测试中,目标突然横移 5 厘米,ARP-1B 的成功率为 51.5%,作者复现的 π0 风格对照为 9.5%。论文实验

但官方项目页补充了一个关键对照:保留 ARP 的同一套网络权重,只改成同步执行,仍有 46.5%。

作者据此指出,这项测试的大部分提升,来自动作模块拥有自己的相机输入。目标持续滚动并突然改向时,异步执行的作用才更突出:同权重的成功率从同步时的 31.3% 升至异步时的 44.7%。项目页的拆分实验

这就像比较两位接球手:一位能自己盯着球,一位要听别人报位置。如果同时改变了看球方式和传话节奏,赢了以后,就不能把全部功劳都算给传话更快。

手脚灵活,还不等于什么都会

真实机器人实验只有三项任务、每项十次尝试;叠杯子时,对照模型更好。更广的 RoboLab 测试中,ARP 也明显落后于 π0.5-DROID。项目页还提醒,测得的反应时间差异尚未达到统计显著。限制说明

因此,我更愿意把这项工作看成一张值得继续验证的分工图:哪些信息可以稍旧一点,哪些变化必须立刻看见,以及怎样检查这两部分是否真的配合得更好。

看机器人演示时,也可以多问一句:它这次接住了,究竟是因为想得更快,还是终于能及时看见?


原文:Asynchronous Robot Policies · 全文及附录 · 官方项目页
作者与机构:Sombit Dey、Luc Van Gool、Danda Pani Paudel;INSAIT,索非亚大学
日期与状态:2026-11-03,arXiv 预印本 v1
阅读依据:论文全文、附录与官方项目页;生活类比与末段评论为本文解释。

关注这个空间,它的新文章会出现在你的关注动态里。