Jun, 2024

HO-Cap: 手 - 物互动的三维重建和姿态跟踪的捕获系统和数据集

PDF
TL;DR我们引入了一个数据采集系统和一个名为 HO-Cap 的新数据集，可以用于研究视频中手和物体的 3D 重建和姿态跟踪。该系统使用多个 RGB-D 相机和 HoloLens 头戴式显示器进行数据采集，避免使用昂贵的 3D 扫描仪或动作捕捉系统。我们提出了一种半自动的方法来获得手和物体形状和姿态的注释，与手动标注相比，大大减少了所需的标注时间。通过这个系统，我们捕捉了一个视频数据集，其中人类使用物体来执行不同的任务，以及简单的拾取和移交某个物体给另一只手，这可以作为人类示范用于具身人工智能和机器人操纵研究。我们的数据采集设置和注释框架可以被社区用来在视频中重建物体和人手的 3D 形状并跟踪它们的姿势。
data capture systemho-cap dataset3d reconstructionpose trackingannotations
发现论文，激发创造
  • InterCap: 交互中人和物体的联合无标记 3D 跟踪

    本研究提出了一种名为 InterCap 的新方法，利用多视角 RGB-D 数据和参数化的全身模型 SMPL-X 来重建整体身体和对象的互动情况，并构建了一个名为 InterCap 的数据集，填补了现有文献的空白，并支持许多研究方向。

    Sep, 2022

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • HiFECap：单目高保真和表现力人体动作捕捉

    HiFECap 是新的神经人员表现捕捉方法，从单个 RGB 视频中同时捕捉人体姿态、服装、面部表情和手部姿势。该方法表现优于现有表现捕捉方法，首次捕捉到人体的全部细节。

    Oct, 2022

  • HOLD：从视频中无类别限制地重建互动的手部和物体的 3D 模型

    通过使用单目交互视频，我们提出了 HOLD，它是第一个无需 3D 手物体注释就能从中复原出联合的手和物体的方法，通过使用一个组合的隐式模型，能够从 2D 图像中复原出解缠细分的 3D 手和物体，并进一步结合手物体约束来改善复原质量，在实验室和入迷环境中优于全监督基线方法。

    Nov, 2023

  • 从 RGB 图像学习估计手持物体的姿态和形状

    该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

    Mar, 2019

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • H2O: 第一人称交互识别中的双手物体操作

    该研究提出了一个用于视角内交互识别的综合框架，利用无标记的三维手部操作物体注释，并提出一种用于创建统一数据集的方法，该数据集支持对双手和物体操作姿态的预测，并展现出在该领域的一系列前所未有的细节实现。

    Apr, 2021

  • 无需标记的抓取捕获

    研究了通过使用最新的二维手姿势估计技术和优化技术进行的无标记算法来捕捉手抓握物体的过程，此算法也可以详细地捕捉手 - 物体接触并将其集成进抓握捕捉过程中。

    Jul, 2019

  • HO-3D_v3：改善 HO-3D 数据集中手部 - 物体标注的准确性

    本文介绍了 HO-3D_v2 数据集，其提供图像序列以及手和物体的三维姿势注释，HOnnotate 方法自动化生成注释。本文提出了改进的 HOnnotate 方法，并提供了 HO-3D_v2 与 HO-3D_v3 的评估结果，HO-3D_v3 的手部姿势精度比 HO-3D_v2 高 4 毫米，同时与物体表面的接触区域更大。

    Jul, 2021

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020