CVPRApr, 2020

利用时间上的光度一致性实现稀疏监督的手 - 物体重建

PDF
TL;DR模拟手 - 物互动的姿态估计方法，通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位，取得了 3D 手 - 物重建基准测试的最优结果，并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。
hand-object manipulationspose estimationfully-supervised methodsphotometric consistencyself-supervised photometric loss
发现论文，激发创造
  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 通过自监督学习实现视频中一致的 3D 手部重建

    提出了一种通过自监督学习从单目视频中重构 3D 手部模型的方法，利用 2D 手部关键点和图像纹理约束进行姿态、形状、纹理、相机视角的估计，达到与全监督方法相似的重构性能，尤其是在视频训练数据下可以显著提高重构精度和一致性。

    Jan, 2022

  • 自监督学习的深度和运动在光度不一致下的训练

    本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法，该方法不需要基础数据的支持，增加了更强的几何量和时间图像序列内部一致性的约束条件，能够显著提高单目图像序列深度和相对姿态估计的性能。

    Sep, 2019

  • 从野外视频中学习手持物体重建

    本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法，并使用数据驱动的三维形状先验进行训练，结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。

    May, 2023

  • 学习双手和操纵物的联合重建

    基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

    Apr, 2019

  • 视频中三维手姿和网格估计的时空感知自监督学习

    本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

    Dec, 2020

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • 自监督 6D 物体姿态估计中的伪流一致性

    无需辅助信息，我们提出了一种使用纯 RGB 图像进行训练的 6D 物体姿态估计方法，通过利用来自多个不同视角的合成至实图像对中的几何约束（以像素级流一致性的形式表示）进行精化策略，从合成图像中获得初始姿态估计，并使用动态生成的伪标签。在三个具有挑战性的数据集上进行评估，结果表明我们的方法明显优于最先进的自监督方法，无需 2D 注释或额外的深度图像。

    Aug, 2023

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023