Apr, 2024

REACTO：从单个视频中重建关节化物体

PDF
TL;DR从单一视频中重构一般关节式 3D 物体的挑战已被克服，引入了新的变形模型，通过优化部件建模、加强刚性以及精确运动和无缝变形，提高了一般关节式物体的 3D 重建质量。
general articulated objectsdynamic neural radiance fieldsquasi-rigid blend skinningdeformation model3d reconstructions
发现论文，激发创造
  • 从 RGB-D 视频中重建带骨骼的关节式模型

    该研究提出了一种使用深度数据构建可追踪的关节对象完整绑定形式建模的方法，该方法包括 deformable mesh tracking，motion segmentation，spectral clustering，嵌入式骨架和蒙皮权重。

    Sep, 2016

  • 学习隐式表示以重建关节式物体

    利用物理约束为我们建立的隐式表示提供了规范项，通过迭代估计隐式和显性表示，我们证明了我们的方法在标准视频数据集上优于现有技术。

    Jan, 2024

  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 从 4D 点云中构建任意 3D 物体的可重新极化模型

    通过使用一种新的能量最小化框架，从点云视频中识别出由任意数量部分组成的任意日用物品的不同部分，这与其他先前的研究相比，我们的方法在各种度量方面表现更好，并能使模型重新定位到新的姿势上。

    Jun, 2023

  • MoDA: 从日常视频中建模可变形三维物体

    本文介绍了针对从日常视频中建立变形 3D 对象的过程中遇到的挑战，提出了一种新的神经双四元混合蒙皮（NeuDBS）以及一个纹理滤波方法用于纹理渲染来提高建立人和动物 3D 模型的定量和定性性能。

    Apr, 2023

  • DreaMo: 从单个非正式视频进行关节 3D 重建

    本研究提出了 DreaMo，一种从单个且视角覆盖不完整的网络视频中重建关节 3D 形状的方法，通过使用条件视图扩散先验和一些定制的正则化方法解决了低视角覆盖区域带来的挑战，并引入了骨架生成策略生成可解释的人体骨架。对自行收集的视角覆盖不完整的网络视频进行了广泛的定性和定量研究，结果表明 DreaMo 在新视角渲染、详细关节形状重建和骨架生成方面具有良好的质量，并且现有的方法由于视角覆盖不完整而无法解决正确的几何问题。

    Dec, 2023

  • ArticulatedFusion: 使用单个深度相机实时重建运动、几何和分割

    本文提出了一种实时动态场景重构方法，能够在给定单个 RGB-D 相机的实时深度流情况下同时再现运动、几何和分割。我们的方法通过融合几何逐帧进行处理，并使用分割增强的节点图结构来驱动几何变形。我们提出了一种二级节点运动优化方法，并通过利用关节运动先验知识来大大减少节点运动的优化空间和物理合理的变形范围。与之前基于融合的动态场景重构方法相比，我们的实验表明，我们的方法对于切向运动和遮挡的运动都具有鲁棒性和改进的重建结果。

    Jul, 2018

  • 从 3D 范围数据中恢复关节式物体模型

    本文介绍了一种基于无监督学习的算法，可以从 3D 点云数据中自动分解复杂的关节式物体模型，定位其各部分的位置，并还原其关节连接，方法通过无刚性变形技术配合 EM 算法和图像模型实现，可在避免局部最大值的情况下获取大量物体部分。

    Jul, 2012

  • 野外一致网格重建的在线适应

    本文提出了一种算法，用于从野外视频中重建变形对象实例的时间一致 3D 网格，不需要每个视频帧的 3D 网格注释，2D 关键点或相机姿态，而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。

    Dec, 2020

  • 从视频中重建可动画类别

    利用可微分渲染实现从单个视频中生成人，猫和狗等动物的可动态三维模型，并通过优化特定的骨架实现实例化，使用潜在空间正则化鼓励类别间的共享结构并同时维护实例的细节和使用三维背景模型将对象与背景分离。

    May, 2023