CVPRMay, 2022

从单目彩色图像中稳定驱动的接触重建

PDF
TL;DR通过使用物理引擎对接触状态进行模拟，并直接从单目图像中重建接触特征，提出了一种手 - 物体接触的精确重建框架。此框架可以被适应于更个性化的手部和更多样化的物体形状，并通过额外的物理特性交互数据集验证准确性和稳定性。
physical contacthand-object interactionmonocular imagesim-to-real consistencyphysics engine
发现论文，激发创造
  • 手持物体单目图像的隐式重建中学习显式接触

    本文提出了一种新的方法，通过建模手部与物体之间的互动模式，达到更准确、更真实的物体重建，包括手部接触物体的部分。该方法由两部分组成：显式接触预测和隐式形状重建，并在挑战性数据集上表现出比当前艺术水平更出色的性能。

    May, 2023

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 学习双手和操纵物的联合重建

    基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

    Apr, 2019

  • S$^2$Contact：基于图网络的半监督学习三维手对象接触估计

    本文提出了一种半监督学习的框架，通过利用视觉和几何一致性约束生成伪标签来实现从单眼图像中学习接触。在使用少量标注数据的情况下，我们的模型能够实现比基于 PointNet 的方法更好的结果。使用接触映射提高了手 - 物体交互的准确性，并可以对领域外的物体进行估计。

    Aug, 2022

  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 重建野外手 - 物互动

    本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。

    Dec, 2020

  • 利用时间上的光度一致性实现稀疏监督的手 - 物体重建

    模拟手 - 物互动的姿态估计方法，通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位，取得了 3D 手 - 物重建基准测试的最优结果，并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。

    Apr, 2020

  • 从单目视频中估计人 - 物交互的 3D 运动和力量

    本文提出了一种从单个 RGB 视频自动重建与对象的人交互的 3D 运动的方法，估计人和物体的 3D 姿势，接触位置，被人类肢体激活的力和扭矩，方法主要集中在联合估计运动和动作力，运用大规模的轨迹优化问题，并且从输入视频自动识别出人与物体或地面之间的接触位置和时间，于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。

    Apr, 2019

  • 手 - 物件交互式 3D 物体重建

    本研究介绍了一种利用在手扫描中提取三维手部动作并将其融合到三维重建管道中的方法，以实现即使是无特征和高度对称的物体的重建，这将对手持扫描技术的最新进展有重大贡献。

    Apr, 2017

  • Contact2Grasp: 基于手物接触限制的三维握取合成

    本篇研究通过介绍一种新的中间变量来提高三维抓取合成的效率，以解决现有方法想要直接从物体映射到抓取姿势的非光滑和低效问题，并提出了一种基于接触区域的因子图形式来描述抓取姿态生成过程，并通过实验验证了优化方法的有效性。

    Oct, 2022