CVPRMay, 2022

自监督神经骨骼形态和外貌模型

PDF
TL;DR本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。
geometrymotionappearanceself-supervised learningarticulated objects
发现论文，激发创造
  • 无监督学习高效的几何感知神经关节表示

    该研究提出了一种基于生成对抗网络（GAN）的无监督 3D 几何感知表征学习方法，成功地实现了对复杂关节动态物体的控制性 3D 表征的学习，同时避免了传统方法需要用昂贵的标注数据，在实践中具有较好的效果和效率。

    Apr, 2022

  • 利用空间连续的神经隐式表示学习关节物体的分部运动

    通过神经网络模型，本研究提出一种新的框架来明确分解关节物体的部分运动，通过预测部分表面上的点的转换矩阵，使用空间连续的神经隐式表示来平滑地建模部分运动，在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。

    Nov, 2023

  • 通过有条件的视图合成实现无监督的关节物体建模

    通过使用第一次观测的隐式模型学习对象的几何和外观部分，并通过渲染第二次观测来蒸馏部分分割和关节运动，我们提出了一种新的无监督方法来学习刚性部分组成的关节对象的姿势和部分分割。此外，为了解决部分分割和关节运动的联合优化中的复杂性，我们提出了基于体素网格的初始化策略和解耦优化过程。与先前的无监督方法相比，我们的模型性能显著提高，且适用于具有多个部分的对象，且对后续观测可以高效地进行少数视图的操作。

    Jun, 2024

  • 基于自监督的类别级联物体姿态估计与部件级 SE (3) 等变性

    这篇论文提出了一种基于自监督学习的方法，通过部分等变形状分析提取规范形状和物体姿态，再通过刚性变换描述部件从规范空间到相机空间的转换，实现未知关节感知物体的层次化姿态估计。

    Feb, 2023

  • 关节动画的运动表示

    本文提出了一种新的运动表示方法，能够自动分离物体中的不同部分，并追踪它们的运动，从而可以更好地进行动画制作。该方法基于完全无监督的学习，提取出有意义且一致的区域表示物体的位置、形状和姿态，适用于各种物体，并且性能超过现有的方法。

    Apr, 2021

  • SM$^3$: 基于多视角二维图像的自监督多任务建模 对关节物体

    在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

    Jan, 2024

  • 观察移动：无监督发现用于再定位关节的 3D 关节点

    通过从多个视角观察未被注释的关节的外表和结构学习，实现姿势控制和连通性的自动识别，使渲染出的物体更真实。

    Dec, 2021

  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • 无监督基于部件的物体形状和外观解耦

    提出了一种基于无监督学习的方法，通过学习物体的不同特征，如表现和形状，来实现特征的分离和表示，并使用等变约束进行训练，适用于任意类别，并在各种任务中表现优异。

    Mar, 2019

  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022