Sep, 2024

为物体操作的生成世界模型中表示位置性信息

HTML
PDF
TL;DR本研究解决了当前生成世界模型在物体操作任务中位置性信息表示不足的问题。通过引入位置条件（PCP）和潜在条件（LCP）策略学习的方法，我们提出了一种新的方式，以提高代理在物体定位任务中的表现。实验结果显示，所提方法在多个操作环境中表现优越，推动了物体操作的多模态能力发展。
发现论文，激发创造
  • ManipulaTHOR：一个用于视觉物体操纵的框架

    本文提出了一个基于 AI2-THOR 框架的物体操作框架并提出了一个名为 ArmPointNav 的新挑战任务，以扩展点导航任务到物体操作，并提供了新的挑战，包括 3D 障碍物避免、存在遮挡的物体操作以及多物体操作，并指出了 PointNav 挑战中成功的流行学习范例仍有大量改进空间。

    Apr, 2021

  • CLIPort:机器人操控的何时和何地路径

    通过结合视觉操作中的语义理解与空间精度，使用基于语言的模仿学习代理CLIPort，可在训练过程中不需要显式地表示对象姿态、实例分割、内存、符号状态或句法结构的情况下，有效地解决各种语言规定的桌面任务，具有数据效率和泛化能力。

    Sep, 2021

  • 基于视觉的机械臂同时需要从其手部感知视觉

    本研究发现相较于全局第三人称视角，手心视角可以提高物理操作的训练效率和泛化能力，并适用于各种算法、实验环境和分布转变。

    Mar, 2022

  • 在世界模型中将行动绑定到对象

    该研究提出了软注注意机制和硬注意机制，以将行动绑定到对象中，并通过实验结果展示它们在不同环境中的应用，特别是硬注意机制有助于结构化世界模型在基于对象的网格世界环境中学习分离对象的能力,软注注意机制有助于机器人操纵任务的表现提高。

    Apr, 2022

  • 使用预训练视觉语言模型进行开放世界物体操作

    通过使用预训练的视觉-语言模型，开发了一种简单的方法Manipulation of Open-World Objects (MOO)来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现MOO可以零样本推广到广泛的新对象类别和环境中。

    Mar, 2023

  • 机器人操作的物体中心世界模型

    FOCUS是一个基于模型的代理人，通过一种新颖的探索奖励机制可以在机器人操纵任务中更轻松地探索物体交互，在不同环境中的操作任务中表现出更高的效率，同时可以应用于现实世界任务中，这将有助于提高机器人的操作能力。

    Jul, 2023

  • 通过轨迹生成学习通用工具使用技能

    通过生成模型学习工具使用轨迹和对应工具位姿的序列，以实现对变形物体的操纵，进而提高自治系统在常见任务（如烹饪和清洁）中的智能水平。

    Sep, 2023

  • 基于实体为中心的从像素到目标操控的强化学习

    这项研究提出了一种适用于表示多个物体及其相互作用的可视强化学习结构化方法，用于学习多个物体的目标条件操纵，并演示了学习使用三个物体但能推广到具有十多个物体的类似任务的代理的能力。

    Apr, 2024

  • GenCHiP: 高精度和接触丰富的操作任务的生成机器人策略代码

    基于大型语言模型（LLMs）的研究表明，通过合适的动作空间重新参数化，包括遵守与交互力和刚度相关的约束条件，能够成功地生成用于接触丰富和高精度操纵任务的策略，即使在噪声条件下也有效。

    Apr, 2024

  • Dreamitate: 通过视频生成进行真实世界视觉运动策略学习

    在这篇论文中，我们提出了一种视觉-运动策略学习框架，该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段，我们生成了一个以新颖场景的图像为条件的任务执行示例，并直接使用这个合成的执行结果来控制机器人。我们的主要观点是，使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法，并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。

    Jun, 2024