Jun, 2024

Nymeria: 野外大规模多模态自我中心的日常动作数据集

PDF
TL;DR介绍了一个大规模的人体运动数据集 Nymeria，在野外使用多个多模态视角设备收集。数据集具有全身三维运动真实值、多模态视角设备的记录以及附加的第三人称视角设备。数据集还提供了三维场景点云和校准的注视估计。定义了几个关于自我中心身体追踪、动作合成和动作识别的关键研究任务，并评估了几种最先进的基准算法。
nymeria datasethuman motionmultimodal egocentric datamotion-language descriptionsresearch tasks
发现论文，激发创造
  • Aria-NeRF：多模态自我中心视图合成

    我们通过可微分的体积光线追踪，借鉴神经辐射场（NeRF）的思想，试图加快从自我中心数据中开发富有多模态场景模型的研究。我们提供了一个全面的多模态自我中心视频数据集，用于支持和促进自我中心多模态场景建模的发展和评估。

    Nov, 2023

  • 牛津多运动数据集：具有地面真值的多个 SE（3）运动

    本文描述了牛津多动态数据集，该数据集提供了许多复杂的多动态估计问题，包括挑战现有算法的复杂问题以及支持算法开发的简化问题。数据集包含来自静态和动态传感器的观测、多个移动体的不同 3D 运动的数据以及旋转和遮挡等多个问题的实验。它还提供了 110 分钟的数据包括立体和 RGB-D 摄像头图像、IMU 数据和 Vicon 地面真值轨迹，是多动态估计研究的一个有价值的资源。

    Jan, 2019

  • MoVi：一个大型通用运动与视频数据集

    本文介绍了一组新的人体运动和视频数据集 MoVi，其中包括 60 名女性和 30 名男性表演 20 种预定义的日常动作和运动，以及一种自选运动。该数据集包含 9 小时的运动捕捉数据、17 小时的 4 个不同视角的视频数据和 6.6 小时的 IMU 数据，同时还描述了数据集的收集和后处理过程，并探讨了该数据集可促进的研究方向。

    Mar, 2020

  • MVHumanNet: 一个大规模的多视图日常穿着人类捕捉数据集

    该研究论文介绍了一个名为 MVHumanNet 的大规模 3D 人体数据集，其中包含 4500 个人的多视角行动序列，以及 9000 个日常服装、60000 个运动序列和 6.45 亿帧的详细注释，通过该数据集的使用，进行了多个 2D 和 3D 视觉任务的实验，展示了性能的提升和有效应用的可能性。

    Dec, 2023

  • 使用经济实惠设备记录日常活动的多模态视频和 IMU 动力学数据集

    该研究致力于提供一种通过廉价视频和自定义传感器记录的数据集来实现人体姿态跟踪和运动重建的方法，以支持远程的日常生活活动识别和运动学分析等问题。通过对 54 名受试者进行研究，验证了该数据集具有良好的临床应用价值和相关的不扰动采集协议，并可以提供人体关节角度的全面图像。

    Mar, 2023

  • WEAR：可穿戴设备和自我中心视角视频活动识别的多模态数据集

    本文介绍了一个用于人类活动识别的多模态基准数据集 WEAR，其中包括了视觉和可穿戴设备的数据，有效地提高了各种算法的性能表现。此外，我们还展示了基于 Transformer 的视频动作检测模型在惯性和多模态人类活动识别方面的可行性，这是第一次使用此方法进行探索。

    Apr, 2023

  • Motion-X：大规模三维表现全身人体运动数据集

    该研究介绍了 Motion-X 数据集及其构建方法，包含全身运动数据、姿态描述、语义标注等，采用高精度、低成本、可扩展的自动化流程进行数据标注，旨在提高生成自然、多样、表达丰富的运动以及进行 3D 人体网格恢复的能力。

    Jul, 2023

  • MI-Motion 数据集和多人 3D 动作预测基准

    本文介绍了一个新的数据集 MI-Motion，用来帮助研究多人运动预测，并提供基准测试来评估预测模型的性能，同时还介绍了一种新的基线方法 —— 图卷积神经网络和时间卷积神经网络。

    Jun, 2023

  • KIT 运动语言数据集

    本研究提出了 KIT 运动 - 语言数据集，该数据集包括来自多个动作捕捉数据库的数据，并使用统一的表示法聚合，以获得自然语言的动作注释，通过困惑度选择和众包方法进行注释。该数据集包含 3911 个运动，6278 个自然语言注释，使人类运动和自然语言之间的语义表示研究变得更加透明和可比较。

    Jul, 2016

  • Ego4D: 3000 小时的自我中心视频环游世界

    介绍了规模巨大的 “Ego4D” 自我中心视频数据集及其基准套件，它提供了来自全球 74 个地点和 9 个不同国家的 931 个独特摄像头佩戴者的 3,670 小时日常活动视频。该数据集的采集过程严格遵守隐私和伦理标准，并具有鲁棒的去识别程序。其中的一部分视频配有音频、环境的 3D 网格、注视点、立体声和 / 或来自多个自我中心摄像头的同步视频，提供了关于自我中心视觉体验的新的基准挑战。通过公开分享这个海量的注释数据集和基准测试套件，我们旨在推动第一人称感知的前沿。

    Oct, 2021