D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

Aug, 2021

ADL4D 是一个包含最多两个主体与不同物体进行日常生活活动的数据集，用于在手 - 物体交互的任务中提供独特的上下文。该研究还介绍了一个能够跟踪时间上的手部姿势的多视角多手 3D 姿势标注的自动化系统，并在 Hand Mesh Recovery（HMR）和 Hand Action Segmentation（HAS）任务上对数据集进行了评估。

Feb, 2024

该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

Mar, 2024

通过 CORE4D 数据集，我们补充了协作对象重新排列领域的研究空白，这个数据集关注于多种对象几何结构，协作模式和 3D 场景的组合，我们使用迭代协作重新定位策略来扩充模型，共有 11K 协作序列，涵盖 3K 真实和虚拟对象形状。通过 CORE4D 提供的丰富动作模式，我们分别进行人 - 物运动预测和交互合成两个任务的实验，证明了我们的策略有效性并给现有的人 - 物交互生成方法提出了新的挑战。

Jun, 2024

HUMAN4D 是一种多模态体积数据集，提供了关于人类日常、物理和社交活动的各种姿势和动作的数据，同时提供多 RGBD、音频和音量数据。该数据集的介绍旨在推动计算机视觉和图形研究社区对空间和时间对齐的姿势、音量、mRGBD 和音频数据线索的联合研究，同时提供了人类姿势估计和三维压缩等方面的评估基线。

Oct, 2021

本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。

Apr, 2020

提出了一种新的端到端类到场景框架 (CATS)，通过分别生成各个类别的几何特征，随后将其与对应的视觉特征融合，构建一个包含增强的几何 - 视觉特征的场景交互图，以学习人与物体类别之间的关系。该方法在两个关键的人物 - 物体交互基准测试 (MPHOI-72 和 CAD-120) 中展示了最先进的性能。

Jul, 2024

我们提出了一种用于捕捉人类和物体的三维运动的单目方案，结合通用动作推断和基于类别的运动扩散模型，在使用极少量的 RGB 相机和物体安装的惯性测量单元（IMU）的新颖环境中，通过综合处理 IMU 信号和 RGB 流重新恢复人体运动和物体运动，从而大幅度提炼初始结果并生成生动的身体、手部和物体运动。

Dec, 2023

HOT3D 是一个公开可用的三维视角下手部和物体跟踪的数据集，包含大量的多视角 RGB / 单色图像流以及 19 个参与者与 33 个不同的刚体物体的交互动作，提供了多模态信号和全面的真实标注，旨在加速关于视角自身手部与物体交互的研究。

Jun, 2024

理解以自我为中心的人 - 物互动是人类中心感知的一个基本方面，为增强现实 / 虚拟现实和具身人工智能等应用提供支持。本研究提出了 EgoChoir 方法，通过协调视觉外观、头部运动和 3D 对象的信息来挖掘物体互动概念和人类意图，并在以自我为中心的视频中推断 3D 人体接触和物体可供性，从而解决以自我为中心的视图中的人 - 物互动问题。

May, 2024