CVPRApr, 2021

自我接触和人体姿态

PDF
TL;DR本研究通过建立 3D 接触姿势数据集、利用该数据集创建出 Mimic-The-Pose (MTP) 图像数据集多样性，开发了新的优化算法 SMPLify-XMC 和 SMPLify-DC，形成了全新的 3D 人体姿态估计模型 TUCH，并证明该模型显著提高了 3D 人体姿势估计的精确度。
human pose estimationself-contact3d contact posesoptimization methodstuch
发现论文，激发创造
  • 学习复杂三维人体自我接触

    本文提出了一种自接触预测模型（SCP），并采用特定的 3D 损失来显式地强制进行自接触，以解决现有 3D 重建方法对于身体自接触区域的忽略问题，并在自接触特征限制下研究更具表现力的 3D 重建，最终在多视图图像上提出一种面部接触的单目检测方法。

    Dec, 2020

  • ContactPose：一份包含物体接触和手姿态的抓取数据集

    介绍了 ContactPose 数据集，它是第一个把手对象接触配对其他数据模态的数据集，并用它来评估接触建模的各种数据表示、文献中的启发式方法和学习方法。

    Jul, 2020

  • 获取和推断密集全身人 - 场景接触

    该研究通过构建一个新的名为 RICH 的数据集，使用 BSTRO 算法从单幅 RGB 图像中直接预测人体与场景的接触，在探索图像中覆盖的区域时，提出了一种新的非局部关系学习方法，并且通过实验证明了其比之前的方法具有更好的性能质。

    Jun, 2022

  • 通过单张图片捕捉 3D 手、面部和身体表达

    本研究提出了通过单目图像计算实现人体姿态、手部姿态和面部表情三维模型的方法，主要使用了一个新的、一致的、包含完全表达手和面部表情的人体模型 SMPL-X，可以对受控图像和自然环境图片进行三维模型匹配。

    Apr, 2019

  • 重建相互作用人体的三维模型

    本文研究了 3D 人类交互的意义和行为建模，并通过引入模型和数据集等多个方面的贡献，提出了一种解决 3D 重建中遗漏人体细微接触等问题的方法。

    Aug, 2023

  • 基于身体传感器的大场景下的 3D 人体姿态估计与自定位系统

    本文介绍了一种使用可穿戴传感器来在与周围环境的 3D 扫描注册的人体中恢复完整的 3D 姿势的方法，该方法使用身体部位处的 IMU 和向外看的头戴式摄像机将基于相机的自定位与基于 IMU 的人体跟踪融合，并将 3D 场景约束集成到优化中，以获得无漂移的姿态精度，从而可以在更大的记录体积和更长的运动周期中捕获 3D 姿势，可用于虚拟现实 / 增强现实应用程序或通过第一人称视觉输入训练导航和与环境交互的代理。

    Mar, 2021

  • 学习人 - 场景交互生成 3D 场景

    本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

    Dec, 2020

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • 来自语言模型的姿态先验

    我们提出了一种零射类实验中的姿势优化方法，可在估计人体的 3D 姿势时强制执行准确的物理接触约束。我们的主要见解是，由于语言通常用于描述物理交互，大型预训练的基于文本的模型可以作为姿势估计的先验知识。因此，我们可以利用这一见解，通过将大型多模态模型（LMM）生成的自然语言描述符转化为可追踪的损失，以约束 3D 姿势优化。尽管方法简单，但我们的方法出人意料地产生了令人信服的人与人之间的接触姿势重建，正确捕捉了社交和物理互动的语义。我们证明了我们的方法与需要昂贵的人工标注联系点和训练专门模型的更复杂的最先进方法相媲美。此外，与以往方法不同的是，我们的方法为解决自体接触和人与人之间的接触提供了统一的框架。

    May, 2024

  • ContactArt：学习类别级可观测物体和手势姿态的三维交互先验

    通过视觉远程操作收集数据和获取姿态估计和接触信息，提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习，可以提高联合手和关节物体姿态估计的性能。

    May, 2023