CVPRApr, 2024

未知关节物体的数字双胞胎建模的神经隐式表示

PDF
TL;DR我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。
digital twinsarticulated objectsrgbd scansarticulation modelpoint-level correspondences
发现论文，激发创造
  • 使用交互构建关节对象的数字孪生模型

    本文介绍了 Ditto 模型，它是一个通过交互感知的方式学习配置模型估计和立体几何重建的数字孪生模型，可用于虚拟环境中的应用。使用隐式神经表示来实现联合几何和构建模型，可以实现物体的数字孪生模型制作和物理仿真应用。

    Feb, 2022

  • 通过有条件的视图合成实现无监督的关节物体建模

    通过使用第一次观测的隐式模型学习对象的几何和外观部分，并通过渲染第二次观测来蒸馏部分分割和关节运动，我们提出了一种新的无监督方法来学习刚性部分组成的关节对象的姿势和部分分割。此外，为了解决部分分割和关节运动的联合优化中的复杂性，我们提出了基于体素网格的初始化策略和解耦优化过程。与先前的无监督方法相比，我们的模型性能显著提高，且适用于具有多个部分的对象，且对后续观测可以高效地进行少数视图的操作。

    Jun, 2024

  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 从 RGB-D 视频中重建带骨骼的关节式模型

    该研究提出了一种使用深度数据构建可追踪的关节对象完整绑定形式建模的方法，该方法包括 deformable mesh tracking，motion segmentation，spectral clustering，嵌入式骨架和蒙皮权重。

    Sep, 2016

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • CARTO：类别和关节无关的复原关节对象

    使用隐式物体中心表示法和编码器 / 解码器，提出了一种重建多个关节物体的方法，该方法可以在单个观察中推断多个未知物体的 3D 形状，6D 姿态，类型和状态，并且在虚拟和现实世界中都得到了很好的表现。

    Mar, 2023

  • 学习隐式表示以重建关节式物体

    利用物理约束为我们建立的隐式表示提供了规范项，通过迭代估计隐式和显性表示，我们证明了我们的方法在标准视频数据集上优于现有技术。

    Jan, 2024

  • PARIS: 用于关节目标的部件级重建与运动分析

    给定两个静态关节状态下物体的多视图图像，我们提出了一种自我监督的、端到端的架构 PARIS，通过学习部分级隐式形状和外观模型，联合优化运动参数而无需任何 3D 监督、运动或语义标注，以解决关节物体的同时部分重建和运动参数估计的问题。

    Aug, 2023

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022