CORE4D: 一个用于协同物体重新排列的 4D 人体 - 物体 - 人体交互数据集

Jun, 2024

CORE4D: 一个用于协同物体重新排列的 4D 人体 - 物体 - 人体交互数据集

CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement

Chengwen Zhang, Yun Liu, Ruofan Xing, Bingda Tang, Li Yi

TL;DR通过 CORE4D 数据集，我们补充了协作对象重新排列领域的研究空白，这个数据集关注于多种对象几何结构，协作模式和 3D 场景的组合，我们使用迭代协作重新定位策略来扩充模型，共有 11K 协作序列，涵盖 3K 真实和虚拟对象形状。通过 CORE4D 提供的丰富动作模式，我们分别进行人 - 物运动预测和交互合成两个任务的实验，证明了我们的策略有效性并给现有的人 - 物交互生成方法提出了新的挑战。

Abstract

Understanding how humans cooperatively rearrange household objects is critical for VR/AR and human-robot interaction. However, in-depth studies on modeling these behaviors are under-researched due to the lack of relevant datasets. We fill this gap by presenting CORE4D, a novel large-scale 4D

collaborative object rearrangement human-object-human interaction 3d scenes human-object motion forecasting interaction synthesis

发现论文，激发创造

HOI4D：一个用于类别级别的人 - 物交互的四维自我中心数据集

介绍了 HOI4D 数据集，该数据集具有丰富的注释，包含了大规模的 4D 视觉信号和人类 - 物体交互类别级别的注释，并建立了三个基准任务来促进该领域的进一步研究。

Mar, 2022

HUMAN4D: 一个以人为中心的多模态动作与沉浸式媒体数据集

HUMAN4D 是一种多模态体积数据集，提供了关于人类日常、物理和社交活动的各种姿势和动作的数据，同时提供多 RGBD、音频和音量数据。该数据集的介绍旨在推动计算机视觉和图形研究社区对空间和时间对齐的姿势、音量、mRGBD 和音频数据线索的联合研究，同时提供了人类姿势估计和三维压缩等方面的评估基线。

Oct, 2021

4DHumanOutfit: 一个多主体 4D 数据集，记录着穿着不同服装的人类运动序列及其位移

4DHumanOutfit 是一个新的数据集，其中包含不同演员、服装和动作的稠密采样的时空 4D 人体运动数据，可用于数字人类的处理和创建，例如增强现实、头像创建和虚拟试衣，此外，该数据集还包括每个轴的参考解决方案。

Jun, 2023

动态视频中的三维人物 - 物体交互 (D3D-HOI)

D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

Aug, 2021

可动物体和交互的 RBO 数据集

本文介绍了一个包括 14 个关节物体、RGB-D 视频序列和人与物品交互的扳手数据集，并配有基础运动捕捉系统的注释和 Python 下载脚本。

Jun, 2018

ADL4D：针对 4D 日常生活活动的上下文丰富数据集

ADL4D 是一个包含最多两个主体与不同物体进行日常生活活动的数据集，用于在手 - 物体交互的任务中提供独特的上下文。该研究还介绍了一个能够跟踪时间上的手部姿势的多视角多手 3D 姿势标注的自动化系统，并在 Hand Mesh Recovery（HMR）和 Hand Action Segmentation（HAS）任务上对数据集进行了评估。

Feb, 2024

4D-DRESS：带语义注释的现实世界人类服装的 4D 数据集

介绍了 4D-DRESS，这是第一个以高质量 4D 纹理扫描和服装网格推进人类服装研究的真实世界 4D 数据集，拥有 64 套服装和 520 个人体运动序列的 78k 纹理扫描，通过半自动的 4D 人体解析流程标注和分割详细复杂的 4D 人体扫描，为服装模拟和重构建立了多个基准，为逼真人体服装研究的进步铺平了道路。

Apr, 2024

常见三维物体：大规模学习和评估真实场景下的 3D 类别重建

该研究提供了一种名为 CO3D 的大规模数据集，其中包含了 50 种 MS-COCO 类别的近 19,000 个视频，共计 1.5 百万帧真实的多视角图像，带有相机姿态和地面真实 3D 点云的注释，并利用该数据集进行了新视角综合和类别为中心的 3D 重建方法的大规模 “野外” 评估，并提出了一种基于 Transformer 的新型神经渲染方法 NerFormer，可根据物体的少数视角重建整个物体。

Sep, 2021

CIMI4D：人 - 场景交互下的大规模多模态攀爬运动数据集

通过自己收集的大规模岩石攀登动作数据集 CIMI4D，我们在人 - 场景交互方面进行了详细研究并进行了四项任务的实验，结果表明 CIMI4D 对现有方法提出了巨大挑战，并提供了广泛的研究机会。

Mar, 2023

U4D: 无监督 4D 场景动态理解

这篇论文提出了使用多视角视频进行无监督 4D 视觉场景理解的方法，可以同时估计每个像素的具体模型和实例级别分割，并利用最近的 3D 姿势估计技术约束联合语义实例分割和 4D 时间上连贯的重建，以能够精准地分割多个动态场景中相互作用的人，实验表明与现有方法相比，语义分割、重建和场景流的准确性都显著提高了大约 40%。

Jul, 2019