Dec, 2023

通过翻译人类交互计划实现推广的零射击操作

PDF
TL;DR我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。
发现论文，激发创造
  • Track2Act: 从互联网视频预测点轨迹实现多样化的零射击机器人操控

    通过使用网络视频进行预测性互动计划的学习，结合机器人在真实世界中的任务无关转换，以及通过少量具体示范进行训练的闭环策略预测残余动作，我们提出了一种可扩展学习的路径预测方法，实现了任务零 - shot 机器人操作，并在未见任务、对象和场景上呈现了大量真实世界机器人操作结果。

    May, 2024

  • BC-Z：利用机器人模仿学习实现无需先学习任务的泛化

    本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

    Feb, 2022

  • 人机合作：通过眼手协同人类演示学习可推广的机器人操作

    本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达 58％。

    Jul, 2023

  • 从人类视频中构建结构化世界模型

    我们提出了一种方法，通过仅利用许多不同设置的少量实际交互轨迹，使机器人能够有效地学习操纵技能，并由此建立了一个基于人的视频的结构化行为空间，从而使不同的机器人能够在复杂环境下学习各种操纵技能。

    Aug, 2023

  • 预测交互来学习操控

    通过预测交互进行操纵的学习，提取可视化表示，并且在真实世界和仿真环境中实现了 10% 至 64% 的显著性改进。

    Jun, 2024

  • 点击抓取：通过视觉扩散描述符实现零射击精确操控

    利用网络训练的文本到图像扩散生成模型，在无样本情况下对细粒度部件描述符进行准确操作，通过将问题框架化为密集语义部件对应任务，返回用于操作特定部件的夹爪位姿，无需手动示教，验证了该方法在真实世界的桌面场景中的实验，证明了其推进语义感知机器人操作的潜力。

    Mar, 2024

  • 利用单个人类视频的基于视觉的开放世界物体图形操作

    通过从单个人类视频中提取以对象为中心的操纵计划并推导出条件为提取计划的策略，我们提出了一种以对象为中心的方法，为机器人学习基于视觉的操纵技能提供支持。我们的方法允许机器人从 iPad 等日常移动设备捕获的视频中学习，并将策略推广到具有不同视觉背景、摄像机角度、空间布局和新颖对象实例的部署环境中。通过对短程和长程任务进行系统评估，我们展示了 ORION 在从单个人类视频中学习开放世界中的有效性。

    May, 2024

  • 学习基于视频的策略用于未见过的操纵任务

    通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

    May, 2023

  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020