Mar, 2024

移动机器人操作的学习通用特征场

HTML
PDF
TL;DR本研究提出了一种名为GeFF（通用特征场）的场景级通用神经特征场，作为导航和操作的统一表示，实时性能良好，并在四足机器人上部署，评估了其对开放集对象和动态场景中进行移动操作的泛化能力和运行时间。
发现论文，激发创造
  • CLIPort:机器人操控的何时和何地路径

    通过结合视觉操作中的语义理解与空间精度，使用基于语言的模仿学习代理CLIPort，可在训练过程中不需要显式地表示对象姿态、实例分割、内存、符号状态或句法结构的情况下，有效地解决各种语言规定的桌面任务，具有数据效率和泛化能力。

    Sep, 2021

  • N$^2$M$^2$: 在未知和动态环境中学习任意移动操作导航

    本研究提出一种名为神经导航移动操控（N$^2$M$^2$）的方法，通过将移动操控任务分解为任务空间中的简化运动生成器和移动基地的训练强化学习代理，同时通过对复杂障碍环境的扩展，可以在未知环境中执行不可见、长视距任务，并立即对动态障碍和环境变化做出反应。

    Jun, 2022

  • 局部神经描述符场：用于操作的局部条件对象表示

    本文介绍了一种基于局部神经描述符场（L-NDF）的方法，用于将有限数量的物体操作技能推广到未知形状类别的新物体中。通过利用对象之间共享的局部几何形状，将操作演示从旧物体有效地转移到了新物体。在模拟和实际场景中验证了我们的方法在操纵新物体方面的有效性。

    Feb, 2023

  • 基于程序的、组合通用的机器人操作

    通过提出一种利用语言指令的可执行程序来更好地利用预训练的VL模型的模块化方法，我们可以改善在任务和物体未知情况下的运用和组合泛化能力。

    Apr, 2023

  • 铺路把握一切：将基础模型转移, 用于通用拾放机器人

    本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

    Jun, 2023

  • 蒸馏特征场在少样本语言引导操纵中的应用

    使用自我监督学习和语言监督学习的图像模型，结合精确的3D几何知识和丰富的2D语义特征，提出一种在机器人操作中填补2D到3D差距的方法，实现对未知物体的自由文本自我指定和泛化到其他物体类别的能力。

    Jul, 2023

  • GNFactor：通用神经特征场下的多任务真实机器人学习

    用视觉观察来实现机器人在无结构的真实环境中执行多样化操作任务一直是机器人学领域的一个长期存在的问题。本文提出了GNFactor，它是一个具有通用化神经特征场的多任务机器人操作的可视化行为复制代理系统，通过共享的深度三维体素表示，GNFactor同时优化通用化神经场作为重建模块和Perceiver Transformer作为决策模块，以实现对3D场景的全面理解。

    Aug, 2023

  • D$^3$Fields：动态三维描述场用于零样本泛化机器人操作

    介绍了D$^3$Fields动态三维描述符场，它能够捕捉三维环境的动态性，并对语义特征和实例掩膜进行编码。在零样本机器人操作任务中，通过对不同背景、风格和实例的多视图二维观测进行特征插值，生成的融合描述符场允许灵活的目标规范。通过在现实世界和模拟环境中进行广泛评估，证明了D$^3$Fields在零样本机器人操作任务中具有良好的泛化和操作精度，相对于Dense Object Nets和DINO等最先进的密集描述符，D$^3$Fields具有显著更好的泛化能力和操作准确性。

    Sep, 2023

  • SparseDFF：一次性灵巧操作的稀疏视图特征蒸馏

    通过开发Distilled Feature Field（DFF）作为3D场景表示，我们引入SparseDFF方法，从稀疏的RGBD观测中获取视角一致的3D DFFs，实现一次性学习可转移到新场景的灵巧操作，同时展示了面对物体和场景上下文变化时的稳健泛化。

    Oct, 2023

  • GraspSplats：高效的3D特征分散操作

    本研究解决了机器人对物体部件进行高效和零次抓取的能力问题，弥补了现有方法在场景变化和部件定位上的不足。提出的GraspSplats利用深度监督和新颖的参考特征计算方法，能够在60秒内生成高质量的场景表示，实验证明其在实时抓取采样和动态物体操作方面的优势，显著优于现有方法。

    Sep, 2024