ICCVAug, 2023

基于单目视频的通用非刚性三维重建的根姿态分解

PDF
TL;DR基于单目 RGB 视频序列的、非刚性物体的三维重建，通过 Root Pose Decomposition（RPD）方法，实现了对具有大变形、复杂运动模式、遮挡和不同个体尺度差异的复杂场景下物体的三维重建。
3d reconstructionnon-rigid objectsroot pose decompositionmulti-object scenariosdense field
发现论文，激发创造
  • 基于 RGB 的类别级物体姿态估计与解耦的度量尺度恢复

    本文提出了一种新颖的流程，通过解耦 6D 姿态和尺寸估计，减轻了单目观察带来的尺度不精确对刚性变换的影响，并借助预训练的单目估计器获取局部几何信息，以便搜寻二维 - 三维对应关系，并利用基于类别级统计的独立分支直接恢复物体的度量尺度，最后倡导使用 RANSAC-P$n$P 算法鲁棒求解 6D 物体姿态。在合成和真实数据集上进行了大量实验证明，相对于先前最先进的基于 RGB 的方法，我们的方法在旋转准确性方面表现出更高的性能。

    Sep, 2023

  • 无约束单目视频无监督深度估计的区域变形网络

    本文提出了一种新的基于学习的深度估计方法，由 DepthNet、PoseNet 和 Region Deformer Networks（RDN）组成，用于无约束单眼视频的深度估计，其核心贡献在于 RDN 对刚性和非刚性物体的适当处理，特别是提出了基于变形的运动表示来在 2D 图像上对个体运动建模，该表示使我们的方法适用于多样化和无约束的单眼视频，并分别在 KITTI 和 Cityscapes 基准测试以及人行追踪数据集上展示了非常好的结果。

    Feb, 2019

  • Total-Recon： 嵌入式视角合成的可变形场景重建

    本文提出了 Total-Recon 方法，用于从长时间单目 RGBD 视频中重建变形场景并进行自由视点合成，通过场景运动层次分解，实现了快速高效的实现，并最终超越以往的方法。

    Apr, 2023

  • 基于柔性向量旋转表示的六维物体类别姿态估计

    本文提出了一种新型的基于 3D 图卷积的流水线，用于从单目 RGB-D 图像中的分类级别 6D 姿态和尺寸估计。提出的方法利用了高效的 3D 数据增强和新型的基于向量的分解旋转表示。实验结果表明，该流水线在分类级别任务上具有最先进的性能。同时，实验证明，所提出的旋转表示比其他旋转表示更适合姿态估计任务。

    Dec, 2022

  • DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度

    提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。

    Mar, 2024

  • 多视角非标定深度相机下的多人三维姿态估计

    利用稀疏的未校准深度相机提供的 RGBD 视频流，我们提出了一种简单的多视角深度人体姿态估计 (MVD-HPE) 管线，用于联合预测相机姿态和 3D 人体姿态，无需训练深度 3D 人体姿态回归模型。

    Jan, 2024

  • 基于虚拟相机的自由移动物体重建与姿态估计

    我们提出了一种从单目 RGB 视频中重建自由移动物体的方法，无需任何先验信息，通过基于隐式神经表示同时优化对象的形状和姿态，其中方法的关键是一个虚拟摄像机系统，显著减小了优化的搜索空间。通过在 HO3D 数据集和佩戴在头部设备上捕获的主观 RGB 序列上的评估，我们证明了该方法明显优于大多数方法，并且与假设先验信息的最新技术相媲美。

    May, 2024

  • DRSM：用于静态单目摄像机中的动态重构的高效神经 4D 分解

    通过使用单个视图，我们提出了一个新的框架来解决动态场景的四维分解问题，并通过密集光线投射强调动态区域的学习，从而克服了单个视图和遮挡带来的挑战，并实现了比现有方法更高保真度的单视图动态场景表示。

    Feb, 2024

  • 从单目 RGB 图像估计多人三维姿态的单次拍摄方法

    提出了一种新的单次拍摄的方法来从单目 RGB 相机中对一般场景中的多人进行 3D 姿态估计，该方法使用新颖的鲁棒姿势地图（ORPM），该地图能够在其他人和场景中的强烈部分遮挡下实现全身姿态推断，并通过人体部位关联，在不需要显式边界框预测的情况下推断任意数量的人的 3D 姿态，并通过实际图像中显示的大型多人交互和遮挡的第一个大规模训练数据集 MuCo-3DHP 进行培训，并在我们的新挑战性的 3D 注释多人测试集 MuPoTs-3D 上取得了良好的性能。

    Dec, 2017

  • 基于单目 RGB 图像的类别级 6D 物体姿态估计的对象级深度重建

    本文提出了一种名为 OLD-Net 的新颖方法，该方法利用 RGB 图像推断出物体水平六维姿态。在这个方法中，我们利用两个新的模块 NGPH 和 SDDR 来学习高保真度的物体水平深度和精美的形状表示，最后通过将预测的规范化表示与反向投影的物体水平深度对齐来解决 6D 物体姿态问题，在挑战性的 CAMERA25 和 REAL275 数据集上进行了广泛实验，结果表明，我们的模型尽管简单，但实现了最先进的性能。

    Apr, 2022