ECCVAug, 2022

S$^2$Contact：基于图网络的半监督学习三维手对象接触估计

PDF
TL;DR本文提出了一种半监督学习的框架，通过利用视觉和几何一致性约束生成伪标签来实现从单眼图像中学习接触。在使用少量标注数据的情况下，我们的模型能够实现比基于 PointNet 的方法更好的结果。使用接触映射提高了手 - 物体交互的准确性，并可以对领域外的物体进行估计。
3d annotationssemi-supervised learningcontact maphand-object interactionsobject reconstruction
发现论文，激发创造
  • 手持物体单目图像的隐式重建中学习显式接触

    本文提出了一种新的方法，通过建模手部与物体之间的互动模式，达到更准确、更真实的物体重建，包括手部接触物体的部分。该方法由两部分组成：显式接触预测和隐式形状重建，并在挑战性数据集上表现出比当前艺术水平更出色的性能。

    May, 2023

  • Contact2Grasp: 基于手物接触限制的三维握取合成

    本篇研究通过介绍一种新的中间变量来提高三维抓取合成的效率，以解决现有方法想要直接从物体映射到抓取姿势的非光滑和低效问题，并提出了一种基于接触区域的因子图形式来描述抓取姿态生成过程，并通过实验验证了优化方法的有效性。

    Oct, 2022

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 利用时间上的光度一致性实现稀疏监督的手 - 物体重建

    模拟手 - 物互动的姿态估计方法，通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位，取得了 3D 手 - 物重建基准测试的最优结果，并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。

    Apr, 2020

  • 基于注意力引导图卷积的手和物体重建协同学习

    本文提出了一种协作学习策略的算法，通过两个深度网络分支相互学习并解决注意力和联合信息传输的问题，实现鲁棒的手部和物体位姿估计与三维重建。

    Apr, 2022

  • 优化接触以改善抓握：ContactOpt

    通过深度学习的手法，优化手的姿态以实现与目标物体的期望接触，并使用一种可微分的接触模型来高效优化手的姿态，以实现期望的接触效果，从而显著提高接触匹配度和人类参与者对于抓取的喜好度。

    Apr, 2021

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • 学习复杂三维人体自我接触

    本文提出了一种自接触预测模型（SCP），并采用特定的 3D 损失来显式地强制进行自接触，以解决现有 3D 重建方法对于身体自接触区域的忽略问题，并在自接触特征限制下研究更具表现力的 3D 重建，最终在多视图图像上提出一种面部接触的单目检测方法。

    Dec, 2020