ICCVSep, 2023

DECO: 野外环境下 3D 人体场景接触密集估计

PDF
TL;DR理解人类如何通过身体接触与世界互动对于实现以人为中心的人工智能至关重要。我们关注于推断全身表面与任意图像中的物体之间的密集 3D 接触，通过构建新的数据集 DAMON 以及训练新的 3D 接触检测器 DECO，在各种基准测试中显著优于现有方法，同时展示 DECO 在自然图像中广泛适用于多样且具有挑战性的真实人类互动。
physical contacthuman-centric ai3d contact inferencedecocontact detection
发现论文，激发创造
  • 获取和推断密集全身人 - 场景接触

    该研究通过构建一个新的名为 RICH 的数据集，使用 BSTRO 算法从单幅 RGB 图像中直接预测人体与场景的接触，在探索图像中覆盖的区域时，提出了一种新的非局部关系学习方法，并且通过实验证明了其比之前的方法具有更好的性能质。

    Jun, 2022

  • 学习复杂三维人体自我接触

    本文提出了一种自接触预测模型（SCP），并采用特定的 3D 损失来显式地强制进行自接触，以解决现有 3D 重建方法对于身体自接触区域的忽略问题，并在自接触特征限制下研究更具表现力的 3D 重建，最终在多视图图像上提出一种面部接触的单目检测方法。

    Dec, 2020

  • 图像中的人 - 物接触检测

    本文介绍了一种用于检测人与周围物体接触的新数据集 HOT，并使用该数据集训练了一个新的接触检测器，它可以输出 2D 接触热图以及处于接触状态的身体部位标签。该检测器采用了部分注意分支来通过周围身体部分和场景的上下文指导接触估计，并且定量的结果显示，该模型的性能优于基线，并且所有组件都对提高性能有贡献。

    Mar, 2023

  • 具有密集对应的 3D 人体网格回归

    本研究提出了一种无模型的 3D 人体网格估计框架 DecoMR，通过显式建立网格和局部图像特征在 UV 空间中的密集对应关系来重建人体 3D 网格，并设计了一种新的连续 UV 映射，优于现有的基于 3D 网格的方法。

    Jun, 2020

  • 基于解耦结构的场景内多样化 3D 人体姿态生成

    本文提出了一种新颖的方法，用于在具有语义控制的场景中生成多样化的 3D 人体姿势。

    Jun, 2024

  • 重建相互作用人体的三维模型

    本文研究了 3D 人类交互的意义和行为建模，并通过引入模型和数据集等多个方面的贡献，提出了一种解决 3D 重建中遗漏人体细微接触等问题的方法。

    Aug, 2023

  • 从密集身体部位学习 3D 人体形状和姿势

    本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。

    Dec, 2019

  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • BodyMap: 全身密集对应图学习

    本文介绍了 BodyMap，一种基于 Vision Transformers 的新框架，用于在野外图像与 3D 模板之间获取高清全身和连续密集的对应关系，并展示了其在多层密集布料通信，神经渲染和外观交换等方面的应用。

    May, 2022

  • UltraPose: 使用人体解耦 3D 模型合成 10 亿点密集姿态

    通过构建一个新的人体三维模型和数据生成系统，我们构建了一个超高密度的合成数据集 UltraPose，包含大约 13 亿个对应点。与手动注释的现有 DensePose-COCO 数据集相比，我们的 UltraPose 具有超高密度的图像到表面对应关系，具有良好的高复现性和低成本。

    Oct, 2021