May, 2024

Track2Act: 从互联网视频预测点轨迹实现多样化的零射击机器人操控

PDF
TL;DR通过使用网络视频进行预测性互动计划的学习，结合机器人在真实世界中的任务无关转换，以及通过少量具体示范进行训练的闭环策略预测残余动作，我们提出了一种可扩展学习的路径预测方法，实现了任务零 - shot 机器人操作，并在未见任务、对象和场景上呈现了大量真实世界机器人操作结果。
zero-shot robot manipulationgoal-conditioned policyweb videostrack2actresidual policy
发现论文，激发创造
  • 通过翻译人类交互计划实现推广的零射击操作

    我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

    Dec, 2023

  • Vid2Robot: 基于跨引注意力变形器的端到端视频条件策略学习

    通过观察人类行为并将其翻译成可执行的动作，本研究介绍了一种基于视频学习的机器人框架 Vid2Robot，它通过训练机器人模型利用人类视频和机器人轨迹数据集进行任务执行。该模型利用交叉注意力机制将提示视频特征融合到机器人的当前状态中，并生成能够模仿所观察任务的适当动作，大幅提升执行效果，同时显示着在真实世界应用中的潜力。

    Mar, 2024

  • DITTO：轨迹转换实现示范模仿

    通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

    Mar, 2024

  • 从人类视频中构建结构化世界模型

    我们提出了一种方法，通过仅利用许多不同设置的少量实际交互轨迹，使机器人能够有效地学习操纵技能，并由此建立了一个基于人的视频的结构化行为空间，从而使不同的机器人能够在复杂环境下学习各种操纵技能。

    Aug, 2023

  • 通过视频预测进行物理交互的无监督学习

    开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

    May, 2016

  • RoboTAP：用于少样本视觉模仿的任意点追踪

    我们探讨了密集跟踪作为一种表征工具，使机器人能够更快、更通用地从示教中学习，并展示了通过密集跟踪生成的稳健机器人策略能够解决复杂的物体排列任务，如形状匹配、堆叠，甚至全路径跟踪任务，如涂胶并粘合物体，这些示教仅需数分钟即可收集。

    Aug, 2023

  • 学习基于视频的策略用于未见过的操纵任务

    通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

    May, 2023

  • 通过密集对应学习从无行为视频中行动

    通过使用图像作为任务非特定的表示，编码状态和动作信息，以及使用文本作为设置机器人目标的一般表示，我们提出了一种构建视频机器人策略的方法，可以在没有使用任何动作注释的情况下，从少量视频示例中可靠地执行不同机器人和环境中的各种任务。

    Oct, 2023

  • 点击抓取：通过视觉扩散描述符实现零射击精确操控

    利用网络训练的文本到图像扩散生成模型，在无样本情况下对细粒度部件描述符进行准确操作，通过将问题框架化为密集语义部件对应任务，返回用于操作特定部件的夹爪位姿，无需手动示教，验证了该方法在真实世界的桌面场景中的实验，证明了其推进语义感知机器人操作的潜力。

    Mar, 2024

  • 策略学习的全点轨迹建模

    通过使用预训练的轨迹模型，提出了一种利用视频演示来预测视频帧内任意点的未来轨迹，从而实现对机器人进行精确控制指导，使其能够在最少的动作标记数据下学习到鲁棒的视觉运动策略。

    Dec, 2023