May, 2023

手持物体单目图像的隐式重建中学习显式接触

PDF
TL;DR本文提出了一种新的方法，通过建模手部与物体之间的互动模式，达到更准确、更真实的物体重建，包括手部接触物体的部分。该方法由两部分组成：显式接触预测和隐式形状重建，并在挑战性数据集上表现出比当前艺术水平更出色的性能。
发现论文，激发创造
  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • S$^2$Contact：基于图网络的半监督学习三维手对象接触估计

    本文提出了一种半监督学习的框架，通过利用视觉和几何一致性约束生成伪标签来实现从单眼图像中学习接触。在使用少量标注数据的情况下，我们的模型能够实现比基于 PointNet 的方法更好的结果。使用接触映射提高了手 - 物体交互的准确性，并可以对领域外的物体进行估计。

    Aug, 2022

  • 学习双手和操纵物的联合重建

    基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

    Apr, 2019

  • 从单目彩色图像中稳定驱动的接触重建

    通过使用物理引擎对接触状态进行模拟，并直接从单目图像中重建接触特征，提出了一种手 - 物体接触的精确重建框架。此框架可以被适应于更个性化的手部和更多样化的物体形状，并通过额外的物理特性交互数据集验证准确性和稳定性。

    May, 2022

  • 从野外视频中学习手持物体重建

    本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法，并使用数据驱动的三维形状先验进行训练，结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。

    May, 2023

  • 重建野外手 - 物互动

    本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。

    Dec, 2020

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 优化接触以改善抓握：ContactOpt

    通过深度学习的手法，优化手的姿态以实现与目标物体的期望接触，并使用一种可微分的接触模型来高效优化手的姿态，以实现期望的接触效果，从而显著提高接触匹配度和人类参与者对于抓取的喜好度。

    Apr, 2021

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022