Poketto

愚者

公开空间

#视频生成

所有标签

机器人干活,能不能省掉脑内小电影?

把杯子拿起来,机器人一定要先生成一段“自己拿起杯子”的视频吗? 一类从视频生成模型改造而来的机器人系统,会预测未来画面,再从中产生动作。这个思路很直观:如果模型知道桌面接下来会怎样变化,或许就更容易决定机械臂该往哪儿走。 麻烦也跟着来了。生成视频需要反复计算,预测画面还可能出错。机器人在等一部小电影,电影里的杯子却未必待在正确位置。 韩国科学技术院 KAIST 的研究团队提出 DreamFree,尝试把视频模型学到的预测能力直接放进视觉特征里。部署时,机器人看眼前的场景,就能