Oct, 2023

MOHO：利用多视角遮挡感知监督学习单视图手持物体重建

PDF
TL;DR该论文提出了一种名为 MOHO 的方法，利用手 - 物视频的多视角监督来从单个图像中重建手持物体，解决了物体自身遮挡和手引起的遮挡等两个主要挑战，通过输入语义特征和手关节提供的几何嵌入作为局部到全局的线索，克服了物体的自身遮挡问题，此外还提出了一种新颖的 2D-3D 手 - 物遮挡感知训练方案来消除手引起的遮挡。
hand-held object reconstructionmulti-view supervisionobject's self-occlusionhand-induced occlusion2d-3d hand-object correlations
发现论文，激发创造
  • 从野外视频中学习手持物体重建

    本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法，并使用数据驱动的三维形状先验进行训练，结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。

    May, 2023

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 用于未知环境的稀疏多视图手 - 物体重建

    在稀疏多视图设置中，我们考虑了手 - 物体重建问题，给定同时捕获的手和物体的多个 RGB 图像，我们的模型 SVHO 将每个视图的预测融合成统一的重建，通过在合成手 - 物体数据集上训练，并在真实世界记录的未见过的物体的手 - 物体数据集上进行直接评估，我们显示出附加视图可以提高重建质量。

    May, 2024

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • 重建手持物体的三维

    对象手动操纵，手持物体重建，MCC-HO，检索增强重建，三维标签。

    Apr, 2024

  • 通过自监督学习实现视频中一致的 3D 手部重建

    提出了一种通过自监督学习从单目视频中重构 3D 手部模型的方法，利用 2D 手部关键点和图像纹理约束进行姿态、形状、纹理、相机视角的估计，达到与全监督方法相似的重构性能，尤其是在视频训练数据下可以显著提高重构精度和一致性。

    Jan, 2022

  • 自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

    本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。

    Jul, 2020

  • 利用时间上的光度一致性实现稀疏监督的手 - 物体重建

    模拟手 - 物互动的姿态估计方法，通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位，取得了 3D 手 - 物重建基准测试的最优结果，并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。

    Apr, 2020

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021