BEHAVE: 跟踪人体物体交互的数据集和方法

CVPRApr, 2022

BEHAVE: 跟踪人体物体交互的数据集和方法

BEHAVE: Dataset and Method for Tracking Human Object Interactions

Bharat Lal Bhatnagar, Xianghui Xie, Ilya A. Petrov, Cristian Sminchisescu, Christian Theobalt...

TL;DRBEHAVE 数据集记录了 8 名主体在 5 个位置进行与 20 种常见对象的广泛互动，利用多视角 RGBD 帧和相应的 3D SMPL 和对象适配以及它们之间注释的接触，我们使用此数据学习模型，能够共同跟踪人类和物体的互动，同时可以在 3D 中对其交互进行建模，我们的关键洞察是预测与体统计模型中的人类和物品的对应关系，以获得互动期间的人 - 物接触。

Abstract

Modelling interactions between humans and objects in natural environments is central to many applications including gaming, virtual and mixed reality, as well as human behavior analysis and human-robot collaboration. This challenging operation scenario requires generalization to vast number of objects, scenes, and human actions. Unfortunately, there exist no

human-object interaction behave dataset multi-view rgbd frames 3d smpl surface contacts

发现论文，激发创造

InterCap: 交互中人和物体的联合无标记 3D 跟踪

本研究提出了一种名为 InterCap 的新方法，利用多视角 RGB-D 数据和参数化的全身模型 SMPL-X 来重建整体身体和对象的互动情况，并构建了一个名为 InterCap 的数据集，填补了现有文献的空白，并支持许多研究方向。

Sep, 2022

动态视频中的三维人物 - 物体交互 (D3D-HOI)

D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

Aug, 2021

HOI-M3：在情境环境中捕捉多个人物和物体的互动

该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

Mar, 2024

多智能体行为数据集：老鼠二元社交互动

本研究介绍了一种用于理解多个智能体之间互动的技术：多智能体行为建模，并提出了 CalMS21 数据集，可以用于行为研究中行为分类方法的性能评估，包括跟踪数据和带有注释的数据。

Apr, 2021

可动物体和交互的 RBO 数据集

本文介绍了一个包括 14 个关节物体、RGB-D 视频序列和人与物品交互的扳手数据集，并配有基础运动捕捉系统的注释和 Python 下载脚本。

Jun, 2018

GRAB: 一个全身人类抓取物体的数据集

该研究通过收集一个新的名为 GRAB 的数据集，包含 10 个零件与 51 个日常物品的互动，详细描述了人类整体抓握物品的过程。通过这个数据集，研究者运用生成式网络训练预测人类手部抓握姿态的模型，以帮助更好地理解人体与物品的互动过程。

Aug, 2020

InterAct: 捕捉和建模日常场景中两人之间逼真、富有表情和互动的活动

我们提出了一种在日常情景中准确捕捉和表达两个人之间交互行为的问题的解决方案，与先前的工作不同，我们同时模拟两个人的活动，并针对常常持续较长时间的以目标驱动、动态和连贯性交互为目标，我们捕捉了一个名为 InterAct 的新数据集，其中包含 241 个运动序列，两个人在整个序列中表演一个真实情景，我们的数据集中捕捉到了两个人的音频、肢体动作和面部表情。我们还演示了一种基于扩散模型的方法，仅通过音频直接估计两个人之间的互动动作。所有数据和代码将在论文接受后可供研究目的使用。

May, 2024

ContactPose：一份包含物体接触和手姿态的抓取数据集

介绍了 ContactPose 数据集，它是第一个把手对象接触配对其他数据模态的数据集，并用它来评估接触建模的各种数据表示、文献中的启发式方法和学习方法。

Jul, 2020

视频中以人为中心的行为描述：新的基准和模型

在视频监控领域中，描述每个个体的行为变得越来越重要，特别是在复杂场景中存在多个个体的情况下。为了解决此问题，我们构建了一个以人为中心的视频监控标题数据集，提供了 7,820 个个体的动态行为的详细描述，并且提出了一种新的视频标题方法，可以在个体级别上详细描述行为，并达到了最先进的结果。

Oct, 2023

EgoBody: 穿戴设备中交互人体的形状与动作

EgoBody 是一个新的大规模数据集，用于通过自我主观视角获取人类姿态、形状和运动的估计，数据集覆盖丰富的互动场景，估计社交伙伴的 3D 全身姿态和形状。

Dec, 2021