本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

May, 2022

本文提出了一种新的运动表示方法，能够自动分离物体中的不同部分，并追踪它们的运动，从而可以更好地进行动画制作。该方法基于完全无监督的学习，提取出有意义且一致的区域表示物体的位置、形状和姿态，适用于各种物体，并且性能超过现有的方法。

Apr, 2021

这篇论文提出了一种基于自监督学习的方法，通过部分等变形状分析提取规范形状和物体姿态，再通过刚性变换描述部件从规范空间到相机空间的转换，实现未知关节感知物体的层次化姿态估计。

Feb, 2023

我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。

Apr, 2024

在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

Jan, 2024

DragAPart 是一种基于图像和一组拖动操作输入的方法，可以生成一个物体在新状态下的新图像，与拖动操作相匹配。与以前侧重于重新定位物体的工作不同，DragAPart 预测部分级别的互动，例如打开和关闭抽屉。通过将预训练的图像生成器用新的合成数据集 Drag-a-Move 和新的拖动编码进行微调，并结合数据集随机化，该模型在实际图像和不同类别上具有很好的推广能力。与之前的运动控制生成器相比，我们展示了更好的部分级别的运动理解能力。

Mar, 2024

研究部分结构和运动的 3D 对象的观察不同的表达以给出在对象功能上的表达 —— 就像剪刀的两个刚性部件相互铰动来执行切割功能一样。该论文的方法使用三个模块的神经网络架构来提出对应关系、估计 3D 变形流和执行分割，并迭代性地在类似 ICP 的方法中交替完成对应关系、变形流和分割预测。该方法明显优于当前技术在发现物体的铰接部分的任务中，并成功地推广到新的和未见过的对象。

Sep, 2018

通过使用第一次观测的隐式模型学习对象的几何和外观部分，并通过渲染第二次观测来蒸馏部分分割和关节运动，我们提出了一种新的无监督方法来学习刚性部分组成的关节对象的姿势和部分分割。此外，为了解决部分分割和关节运动的联合优化中的复杂性，我们提出了基于体素网格的初始化策略和解耦优化过程。与先前的无监督方法相比，我们的模型性能显著提高，且适用于具有多个部分的对象，且对后续观测可以高效地进行少数视图的操作。

Jun, 2024

使用隐式物体中心表示法和编码器 / 解码器，提出了一种重建多个关节物体的方法，该方法可以在单个观察中推断多个未知物体的 3D 形状，6D 姿态，类型和状态，并且在虚拟和现实世界中都得到了很好的表现。

Mar, 2023

本文提出了一种基于图神经网络的半弱监督方法，用于解决 3D 物体动力学运动预测问题，通过对分层部分级别分割和移动部分参数之间的映射学习，在 PartNet-Mobility 数据集上进行训练，可以得到一批带有假标签的移动性信息的 3D 对象数据，并且可以进一步用于预先存在的分割的弱监督学习。

Mar, 2023