CVPRApr, 2024

基于接触优化的转换器进行 3D 人体和物体联合重建

PDF
TL;DR该研究提出了一种利用人 - 物接触信息进行三维人体与物体联合重建的新方法 (CONTHO)，通过 3D 引导接触估计和基于接触的三维人体与物体细化，实现了更准确的重建，取得了最先进的性能。
发现论文，激发创造
  • JOTR：基于变形器的三维关节对比学习用于遮挡人体网格恢复

    本研究针对单一图像中存在遮挡时的三维人体网格恢复问题，提出了一种融合 2D 和 3D 特征的 JOTR 框架以及一种新颖的 3D 关节对比学习方法，通过增加对 3D 特征空间的显式全局监督，显著改善了遮挡人体的重建效果。

    Jul, 2023

  • Contact2Grasp: 基于手物接触限制的三维握取合成

    本篇研究通过介绍一种新的中间变量来提高三维抓取合成的效率，以解决现有方法想要直接从物体映射到抓取姿势的非光滑和低效问题，并提出了一种基于接触区域的因子图形式来描述抓取姿态生成过程，并通过实验验证了优化方法的有效性。

    Oct, 2022

  • 重建相互作用人体的三维模型

    本文研究了 3D 人类交互的意义和行为建模，并通过引入模型和数据集等多个方面的贡献，提出了一种解决 3D 重建中遗漏人体细微接触等问题的方法。

    Aug, 2023

  • 使用单个 RGB 图像重建联系、人类和物体的 CHORE 算法

    该研究使用一种名为 CHORE 的新方法，通过学习从单个 RGB 图像中重建人和物体的神经重建来解决人和周围物体之间的交互问题，而不是像以往那样只考虑人与周围环境的孤立问题，并通过对深度进行合理的缩放操作，更高效地处理真实数据，实验结果证明相较于已有最佳方法 SOTA，该方法的联合重建表现更好。

    Apr, 2022

  • 获取和推断密集全身人 - 场景接触

    该研究通过构建一个新的名为 RICH 的数据集，使用 BSTRO 算法从单幅 RGB 图像中直接预测人体与场景的接触，在探索图像中覆盖的区域时，提出了一种新的非局部关系学习方法，并且通过实验证明了其比之前的方法具有更好的性能质。

    Jun, 2022

  • 手持物体单目图像的隐式重建中学习显式接触

    本文提出了一种新的方法，通过建模手部与物体之间的互动模式，达到更准确、更真实的物体重建，包括手部接触物体的部分。该方法由两部分组成：显式接触预测和隐式形状重建，并在挑战性数据集上表现出比当前艺术水平更出色的性能。

    May, 2023

  • 图像中的人 - 物接触检测

    本文介绍了一种用于检测人与周围物体接触的新数据集 HOT，并使用该数据集训练了一个新的接触检测器，它可以输出 2D 接触热图以及处于接触状态的身体部位标签。该检测器采用了部分注意分支来通过周围身体部分和场景的上下文指导接触估计，并且定量的结果显示，该模型的性能优于基线，并且所有组件都对提高性能有贡献。

    Mar, 2023

  • 学习双手和操纵物的联合重建

    基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

    Apr, 2019

  • 人体抓取生成的手 - 物接触连续性推理

    本文提出基于对象接触点和手接触点的一致性设计新目标模型以及自我监督任务来生成人类手的抓取姿态，实验证明该模型在人类手抓取方面比其他最先进方法有了显著的提升，特别是在测试过程中对未见过和超出领域的物体表现出更大的增益。

    Apr, 2021

  • ContactGen: 为合作伙伴提供基于接触指导的交互式三维人体生成

    基于引导扩散框架，我们提出了一个新方法：根据给定的互动标签生成参与互动的 3D 人体，通过自适应地估计潜在的接触区域和使用它们作为指导，我们演示了在 CHI3D 数据集上的 ContactGen 方法生成与比较方法相比更加真实多样的姿势。

    Jan, 2024