我们引入了一个数据采集系统和一个名为 HO-Cap 的新数据集，可以用于研究视频中手和物体的 3D 重建和姿态跟踪。该系统使用多个 RGB-D 相机和 HoloLens 头戴式显示器进行数据采集，避免使用昂贵的 3D 扫描仪或动作捕捉系统。我们提出了一种半自动的方法来获得手和物体形状和姿态的注释，与手动标注相比，大大减少了所需的标注时间。通过这个系统，我们捕捉了一个视频数据集，其中人类使用物体来执行不同的任务，以及简单的拾取和移交某个物体给另一只手，这可以作为人类示范用于具身人工智能和机器人操纵研究。我们的数据采集设置和注释框架可以被社区用来在视频中重建物体和人手的 3D 形状并跟踪它们的姿势。

Jun, 2024

该研究通过收集一个新的名为 GRAB 的数据集，包含 10 个零件与 51 个日常物品的互动，详细描述了人类整体抓握物品的过程。通过这个数据集，研究者运用生成式网络训练预测人类手部抓握姿态的模型，以帮助更好地理解人体与物品的互动过程。

Aug, 2020

BEHAVE 数据集记录了 8 名主体在 5 个位置进行与 20 种常见对象的广泛互动，利用多视角 RGBD 帧和相应的 3D SMPL 和对象适配以及它们之间注释的接触，我们使用此数据学习模型，能够共同跟踪人类和物体的互动，同时可以在 3D 中对其交互进行建模，我们的关键洞察是预测与体统计模型中的人类和物品的对应关系，以获得互动期间的人 - 物接触。

Apr, 2022

研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

Sep, 2022

研究了通过使用最新的二维手姿势估计技术和优化技术进行的无标记算法来捕捉手抓握物体的过程，此算法也可以详细地捕捉手 - 物体接触并将其集成进抓握捕捉过程中。

Jul, 2019

本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术，通过仅使用 4 个惯性测量单元的传感器，加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案，可以实现对各种运动的鲁棒跟踪。

Mar, 2022

本文提出了一种基于 3D 手部姿势的第一人称动态手部动作识别方法，并通过收集大量 RGB-D 视频序列对其进行了实验评估。研究结果表明，在进行动作识别时，与其他数据形式相比，手部姿态作为一种线索具有明显的优势。

Apr, 2017

本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。

Dec, 2020

本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

Aug, 2020

该研究提出了一种用于实时全身捕捉的方法，可以从一张彩色图像中估计身体和手部的形状和运动，同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构，可以高效地利用身体和手部之间的相关性。与先前的方法不同，该方法可以在多个数据集上进行联合训练，而无需同时注释所有部分的数据，从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色，还可以估计统计面部模型的形状，表情，颜色和照明参数。在公共基准测试中，该方法达到了竞争性的准确性，但速度更快，提供了更完整的面部重建。

Dec, 2020