Mar, 2024

RPMArt：针对关节对象的稳健感知和操纵

PDF
TL;DR通过学习估计接合参数并处理噪点云，我们提出了一个用于关节式物体的稳健感知和操纵的框架，通过局部特征学习和点元组投票的方式，我们的主要贡献是一种稳健的关节网络（RoArtNet），有效地预测关节参数和可负担点，此外，我们引入了一种关节感知的分类方案来增强其模拟到真实场景的能力，最终，通过估计可负担点和关节约束，机器人可以生成稳健的动作来操纵关节式物体，实验证实我们的方法在噪声添加的模拟和真实环境中达到了最新水平的性能。
articulated objectsperceptionmanipulationrobust articulation networksim-to-real transfer
发现论文，激发创造
  • MARS：用于关节特征表征的多模态主动机器人感知

    MARS 是一个新颖的多模态框架，通过多尺度 RGB 特征增强点云特征，同时使用基于强化学习的主动感知进行自主优化，能够精确感知关节对象、提高参数估计精度，并有效处理次优视角，增强机器人交互能力。

    Jul, 2024

  • 基于局部区域映射的方法对关节化物体进行分类

    该论文提出了一种基于点云和本地转换的方法来对物体进行分类，以确定其是否是刚性或关节的。该方法具有无约束性和无模型的优势，可在不需要任何对象模型或已标记的数据的情况下识别物体的关节和刚性部分。作者在两个公开数据集上进行了性能测试，表明该方法能够以很高的准确度对物体进行关节和刚性的分类。

    May, 2023

  • GAMMA：通用的关节建模和操作方法，用于关节对象

    通过学习不同类别的各种关节物体，我们提出了一种新颖的可推广关节建模和操纵框架 (GAMMA)，可以从根本上改善对未知和跨类别关节物体的建模和操纵性能。

    Sep, 2023

  • 利用高效的非参数信念传播进行节肢物体的分解姿态估计

    本文介绍了一种基于非参数信念传播算法的分解方法，用于估算具有连接约束的物体单元的姿态，并评估其对具有连接对象的场景的收敛特性。

    Dec, 2018

  • 基于部件引导的三维强化学习用于仿真到实物的关节物体操控

    通过视觉反馈操纵不可见的关节对象对于实际机器人而言是一项关键但具有挑战性的任务。本文提出了一个新颖的部件导向的 3D RL 框架，可以在没有示范的情况下学习操纵关节对象。实验结果在仿真环境和真实世界环境中证明了我们框架的有效性。

    Apr, 2024

  • 机器人操作的概率式关节实时跟踪

    本篇研究提出了一种基于概率滤波方法的实时、精确估算机器人末端执行器的相机坐标系下位置的方法，并且避免了在与视觉目标的跟踪方法组合时需要进行帧变换的问题。通过建模和纠正测量误差和机器人模型不准确性，在卡尔曼滤波测量的基础上进行基于坐标粒子滤波的异步深度图像更新，使搜索所需的计算量更少。作者在真实机器人平台上进行了定量评估，并通过开放源代码的方式公开了数据集和算法，以便与其他方法进行比较。

    Oct, 2016

  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022

  • CenterArt：关节物体的形状重建和六自由度抓取估计

    提出了 CenterArt，一种用于同时进行 3D 形状重建和关节体 GRASP 估计的新方法。通过 RGB-D 图像进行输入，利用编码器预测形状和关节代码，再通过解码器重建 3D 形状和估计物体的 6 个自由度的 GRASP 姿势。使用包含多个具有随机设计、纹理、照明条件和逼真深度的关节对象的逼真场景进行培训，并通过进行广泛的实验表明，CenterArt 在准确性和鲁棒性方面优于现有方法。

    Apr, 2024

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • SM$^3$: 基于多视角二维图像的自监督多任务建模 对关节物体

    在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

    Jan, 2024