Apr, 2024

CenterArt：关节物体的形状重建和六自由度抓取估计

PDF
TL;DR提出了 CenterArt，一种用于同时进行 3D 形状重建和关节体 GRASP 估计的新方法。通过 RGB-D 图像进行输入，利用编码器预测形状和关节代码，再通过解码器重建 3D 形状和估计物体的 6 个自由度的 GRASP 姿势。使用包含多个具有随机设计、纹理、照明条件和逼真深度的关节对象的逼真场景进行培训，并通过进行广泛的实验表明，CenterArt 在准确性和鲁棒性方面优于现有方法。
发现论文，激发创造
  • CenterGrasp：面向对象感知的隐式表示学习，用于同时形状重建和 6 自由度抓取估计

    通过编码形状和有效抓取的连续潜空间，CenterGrasp 框架结合了物体识别和整体抓取，实现了场景的强场景重建和六自由度抓取 - 姿态估计性能的显著改进。

    Dec, 2023

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • 多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

    本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

    May, 2023

  • CenterSnap: 单次拍摄多目标三维形状重建及分类六自由度姿态与大小估计

    本论文提出了一种基于单个视角的 RGB-D 观测对多目标 3D 重建、6D 姿态和大小估计的简单、高效、端到端的方法，并且基于 ShapeNet 和 NOCS 数据集进行了广泛实验，在新颖实际世界的目标实例 6D 姿态中获得了 12.6% 的绝对改进。

    Mar, 2022

  • CARTO：类别和关节无关的复原关节对象

    使用隐式物体中心表示法和编码器 / 解码器，提出了一种重建多个关节物体的方法，该方法可以在单个观察中推断多个未知物体的 3D 形状，6D 姿态，类型和状态，并且在虚拟和现实世界中都得到了很好的表现。

    Mar, 2023

  • ArtiGrasp：双手灵巧抓握与关节机构的物理合成

    ArtiGrasp 使用强化学习和物理模拟来训练一个控制全局和局部手姿势的策略，以实现包括抓取和关节运动的双手 - 物体交互，并通过逐渐增加的难度的学习课程实现精确的手指控制。

    Sep, 2023

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • RGB Matters: 在单目 RGBD 图像上学习 7 自由度抓取姿态

    本文提出了 RGBD-Grasp 方法，通过卷积神经网络 Angle-View Net（AVN）预测抓手的 SO（3）方向和 FAS 模块计算抓手的张开宽度和与抓点的距离，解决机器人领域中的物体抓取问题，并在 GraspNet-1Billion 数据集上取得了最先进的结果。

    Mar, 2021

  • SM$^3$: 基于多视角二维图像的自监督多任务建模 对关节物体

    在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

    Jan, 2024

  • RPMArt：针对关节对象的稳健感知和操纵

    通过学习估计接合参数并处理噪点云，我们提出了一个用于关节式物体的稳健感知和操纵的框架，通过局部特征学习和点元组投票的方式，我们的主要贡献是一种稳健的关节网络（RoArtNet），有效地预测关节参数和可负担点，此外，我们引入了一种关节感知的分类方案来增强其模拟到真实场景的能力，最终，通过估计可负担点和关节约束，机器人可以生成稳健的动作来操纵关节式物体，实验证实我们的方法在噪声添加的模拟和真实环境中达到了最新水平的性能。

    Mar, 2024