CVPRJan, 2024

细胞模拟：人类物体互动重构挑战

PDF
TL;DR建模人与物体之间的交互是近年来的一个新兴研究方向。本文描述了 RHOBIN 挑战赛的设置，并详细讨论了每个任务的优胜方法。观察到在严重遮挡设置下，人物重建任务变得更加成熟，而对象姿态估计和联合重建仍然是具有挑战性的任务。随着对交互建模的兴趣日益增长，希望本报告能够提供有用的见解，并促进未来在这个方向上的研究。
human-object interaction3d reconstructionrhobin challengeobject pose estimationinteraction modeling
发现论文，激发创造
  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 使用单个 RGB 图像重建联系、人类和物体的 CHORE 算法

    该研究使用一种名为 CHORE 的新方法，通过学习从单个 RGB 图像中重建人和物体的神经重建来解决人和周围物体之间的交互问题，而不是像以往那样只考虑人与周围环境的孤立问题，并通过对深度进行合理的缩放操作，更高效地处理真实数据，实验结果证明相较于已有最佳方法 SOTA，该方法的联合重建表现更好。

    Apr, 2022

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • 学习双手和操纵物的联合重建

    基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

    Apr, 2019

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 在复杂的人物 - 物体交互下进行神经自由视角性能渲染

    本论文提出了一种神经人体表现捕捉和渲染系统，以实现高质量的几何和逼真的纹理重建，尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略，同时进行体积重建和神经渲染人和物体，提出了交互感知的人 - 物捕捉方案，同时提出了以人为重点的物体跟踪，在自由视点下实现了高质量的几何和纹理重建。

    Aug, 2021

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 基于对抗学习方法的单目 RGB 图像实际可行的三维人类场景重建

    通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。

    Jul, 2023

  • 检测和识别人 - 物交互

    这篇研究提出了一个新的机器学习模型，利用人类的行为、动作、动作具体区域等特征来预测目标对象的位置， 实现在图像中精确识别人体与目标物之间的互动关系，为实现目标识别和视觉感知提供了新的思路。

    Apr, 2017

  • 重建野外手 - 物互动

    本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。

    Dec, 2020