基于自监督的类别级联物体姿态估计与部件级 SE (3) 等变性

ICLRFeb, 2023

基于自监督的类别级联物体姿态估计与部件级 SE (3) 等变性

Self-Supervised Category-Level Articulated Object Pose Estimation with Part-Level SE(3) Equivariance

Xueyi Liu, Ji Zhang, Ruizhen Hu, Haibin Huang, He Wang...

TL;DR这篇论文提出了一种基于自监督学习的方法，通过部分等变形状分析提取规范形状和物体姿态，再通过刚性变换描述部件从规范空间到相机空间的转换，实现未知关节感知物体的层次化姿态估计。

Abstract

Category-level articulated object pose estimation aims to estimate a hierarchy of articulation-aware object poses of an unseen articulated object

articulated object pose estimation self-supervised learning equivariant shape analysis rigid transformations

发现论文，激发创造

利用 SE（3）等变性进行自监督分类目标位姿估计

该研究提出了一个基于自监督学习框架和 SE (3) 等变点云网络的类别级别物体位姿估计方法，可在没有真值姿态注释、CAD 模型和多视图监督的情况下，从单独的 3D 点云中进行类别级别的六自由度物体位姿估计，并在多个基准测试上验证了该方法的有效性。

Oct, 2021

利用关节可见性进行神经人体拟合的通用性及对未见姿态的推广

本文介绍了一种将参数化人体模型适应于点云数据的新方法 ——ArtEq。通过使用基于部分的 SE（3）- 等变神经结构来完成 SMPL 模型对点云的估计，并通过对等变姿态回归模块进行改进来实现对训练过程之外的姿态的泛化能力的提升。在实验中，ArtEq 方法的表现比同类方法提高了 74.5%，并且速度快了三个数量级。

Apr, 2023

自监督神经骨骼形态和外貌模型

本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

May, 2022

基于扩散驱动的自监督学习用于形状重建和姿态估计

我们引入了一种扩散驱动的自监督网络，用于多目标形状重建和分类姿态估计，并且仅利用形状先验信息，通过点卷积层和图卷积层来捕捉姿态特征和形状信息，通过预训练和精炼的自监督训练范式训练我们的网络。实验证明，我们的方法明显优于最先进的自监督分类级别基准，并且甚至超过一些全监督实例级别和分类级别方法。

Mar, 2024

类别层级关节对象姿态估计

本文介绍了一种使用深度图像实现类别级姿态估计的新方法，该方法基于 Articulation-aware Normalized Coordinate Space Hierarchy（ANCSH）构建了一种针对不同类别中的关节控制物体各个部分的规范表示，并提出了基于 PointNet ++ 的深度网络来预测 ANCSH。实验结果表明，该模型能够实现更好的物体姿态估计和关节参数估计。

Dec, 2019

基于部件导向的新颖图像合成的自监督三维人体姿态估计

本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

Apr, 2020

利用 SE（3）等变性学习 3D 几何形状装配

我们提出利用 SE (3) 等变性对形状姿态进行解耦，并在多部分协作方面提供了改进，这大大提高了几何形状装配的性能。

Sep, 2023

无监督刚体分割与运动估计的多体 SE (3) 等变性

该研究提出了一种使用 SE (3) 等变特征进行刚体分割和运动估计的无监督学习方法，大大提高了模型效率和性能，并在四个数据集上进行实验证明了其有效性。

Jun, 2023

基于类别的三维物体感知的最优姿态和形状估计

本文提出了一个主要解决物体类别感知问题的非凸优化模型，其中包括针对模型内部变异性的解决方案，将图形学和优化算法相结合，以提高汽车姿态估计等领域的精度和鲁棒性。

Apr, 2021

GS-Pose: 基于几何和语义一致的类别级目标姿态估计

类别级别姿态估计是一项具有挑战性的任务，近期深度学习方法取得了很大进展，但常常受到需要大量数据集或精心调整的逼真模拟器的限制。为了解决这个冲突，我们提出利用从预训练基础模型中获取的几何和语义特征，通过将 2D 特征从基础模型投影到三维空间来对单个类别的物体模型进行匹配，并在训练好的匹配网络上处理对未见物体实例的新的单视图观测，这比先前方法需要的数据量显著减少。我们通过丰富的评估结果表明了这一点，并展示了比先前方法更好的性能。

Nov, 2023