ECCVSep, 2016

从 RGB-D 视频中重建带骨骼的关节式模型

PDF
TL;DR该研究提出了一种使用深度数据构建可追踪的关节对象完整绑定形式建模的方法，该方法包括 deformable mesh tracking，motion segmentation，spectral clustering，嵌入式骨架和蒙皮权重。
rgb-d sensorrigged modeldeformable mesh trackingmotion segmentationspectral clustering
发现论文，激发创造
  • REACTO：从单个视频中重建关节化物体

    从单一视频中重构一般关节式 3D 物体的挑战已被克服，引入了新的变形模型，通过优化部件建模、加强刚性以及精确运动和无缝变形，提高了一般关节式物体的 3D 重建质量。

    Apr, 2024

  • ArticulatedFusion: 使用单个深度相机实时重建运动、几何和分割

    本文提出了一种实时动态场景重构方法，能够在给定单个 RGB-D 相机的实时深度流情况下同时再现运动、几何和分割。我们的方法通过融合几何逐帧进行处理，并使用分割增强的节点图结构来驱动几何变形。我们提出了一种二级节点运动优化方法，并通过利用关节运动先验知识来大大减少节点运动的优化空间和物理合理的变形范围。与之前基于融合的动态场景重构方法相比，我们的实验表明，我们的方法对于切向运动和遮挡的运动都具有鲁棒性和改进的重建结果。

    Jul, 2018

  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 学习隐式表示以重建关节式物体

    利用物理约束为我们建立的隐式表示提供了规范项，通过迭代估计隐式和显性表示，我们证明了我们的方法在标准视频数据集上优于现有技术。

    Jan, 2024

  • 从 3D 范围数据中恢复关节式物体模型

    本文介绍了一种基于无监督学习的算法，可以从 3D 点云数据中自动分解复杂的关节式物体模型，定位其各部分的位置，并还原其关节连接，方法通过无刚性变形技术配合 EM 算法和图像模型实现，可在避免局部最大值的情况下获取大量物体部分。

    Jul, 2012

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • Total-Recon： 嵌入式视角合成的可变形场景重建

    本文提出了 Total-Recon 方法，用于从长时间单目 RGBD 视频中重建变形场景并进行自由视点合成，通过场景运动层次分解，实现了快速高效的实现，并最终超越以往的方法。

    Apr, 2023

  • 从 4D 点云中构建任意 3D 物体的可重新极化模型

    通过使用一种新的能量最小化框架，从点云视频中识别出由任意数量部分组成的任意日用物品的不同部分，这与其他先前的研究相比，我们的方法在各种度量方面表现更好，并能使模型重新定位到新的姿势上。

    Jun, 2023

  • 未知关节物体的数字双胞胎建模的神经隐式表示

    我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。

    Apr, 2024

  • 实时三维体积非刚性重建

    通过使用单个消费级 RGB-D 传感器以实时速率进行动态几何形状的重建，我们提出了一种新的方法，该方法不需要预定义的形状模板，并且在扫描过程中从头开始构建场景模型。采用了体积表示法对几何和运动进行参数化，并且基于提取的稀疏颜色特征与密集深度约束公式相结合实现了运动跟踪。从而保证了准确跟踪并大大降低了标准模型到深度对齐固有的漂移。同时，我们还将寻找空间最佳变形视为非线性正则化变分优化问题，并通过在本地平滑和靠近输入约束的同时实现了数据并行的翻转优化策略。研究结果表明，即使在快速运动和缺乏几何特征的场景下，也能实现稳健的跟踪。

    Mar, 2016