Jul, 2023

人类装配视频数据集以全面理解装配知识

PDF
TL;DR为了实现未来的超级智能工业，本论文提出了 HA-ViD—— 第一个可用于代表性工业组装场景、自然过程知识获取过程和一致的人机共享注释的人类组装视频数据集，主要解决组装过程中知识理解、流程效率、任务协作、技能参数和人类意图等方面的问题。
ha-vidhuman-robot collaborationassembly videosaction recognitionobject detection
发现论文，激发创造
  • Assembly101: 一个用于理解程序活动的大规模多视角视频数据集

    Assembly101 是一个新的过程性活动数据集，包含 4321 个视频，演示了人们组装和拆卸 101 个 “拆卸” 玩具车辆，并进行了注释以进行识别，预测和时间分割。 此外，他们还提出了一个新的错误检测任务。

    Mar, 2022

  • ATTACH 数据集：人类动作理解中带注释的双手装配动作

    以协作型机器人为代表的人机协作正在工业制造业中成为研究热点，为了提高其自主性与辅助功能，我们设计了 ATTACH 数据集，该数据集包含超过 51 小时的装配活动，涵盖了 95.2k 个精细注释的动作，为研发基于三维视觉的自主装配机器人提供了支持。

    Apr, 2023

  • 大规模整体视频理解

    本文介绍了一个基于语义分类的大规模 Holistic 视频理解数据集 HVU，它实现了对多标签、多任务视频理解的全面考虑，以及介绍了一种新的综合外观和时间神经网络体系结构 HATNet，本文拓展了视频识别范畴，验证了 Holistic 表示学习在许多实际应用程序中的重要作用。

    Apr, 2019

  • IKEA ASM 数据集：通过动作、物体和姿态理解人们组装家具

    这篇论文介绍了一种三百万帧的多视角家具组装视频数据集 IKEA ASM，其中包含深度、原子动作、对象分割和人体姿态等多种数据。研究者在该数据集上对视频动作识别、对象分割和人体姿态估计等任务进行了基准测试，为开发综合方法、集成多模和多视角数据等方面提供了依据。

    Jul, 2020

  • MVHumanNet: 一个大规模的多视图日常穿着人类捕捉数据集

    该研究论文介绍了一个名为 MVHumanNet 的大规模 3D 人体数据集，其中包含 4500 个人的多视角行动序列，以及 9000 个日常服装、60000 个运动序列和 6.45 亿帧的详细注释，通过该数据集的使用，进行了多个 2D 和 3D 视觉任务的实验，展示了性能的提升和有效应用的可能性。

    Dec, 2023

  • 使用人类动作构建视频语言数据集进行多模态逻辑推理

    介绍了一个新的包含人类行为的视频和语言数据集，该数据集专注于描述动态人类动作的故事意图和局限性表达式，该数据集预计对评估包括否定和量化在内的复杂语句与视频之间的多模态推理系统非常有用。

    Jun, 2021

  • AVA-Kinetics 本地化人类行为视频数据集

    该论文介绍了 AVA-Kinetics 本地化人类行为视频数据集，其中包含超过 230k 个帧，对每个人的关键帧进行了 80 个 AVA 动作类的注释，通过视频行动变换网络在 AVA-Kinetics 数据集上进行了基线评估，并证明了在 AVA 测试集上行动分类的表现有所改善。

    May, 2020

  • SportsHHI：体育视频中人际互动检测数据集

    我们提出了一个新的视频视觉关系检测任务：视频人际互动检测，并构建了一个名为 SportsHHI 的数据集。该数据集包含来自篮球和排球运动的 34 个高级互动类别。我们希望 SportsHHI 能够刺激对视频中人际互动理解的研究，并促进视频视觉关系检测中关于时空上下文建模技术的发展。

    Apr, 2024

  • 面向任意视角人体动作识别的大规模多视角 RGB-D 动作数据集

    本文介绍了一个新的大规模 RGB-D 数据集，其中包括固定视角和全方位视角下的 40 种行动，以及 VS-CNN 模型的提出和有效性验证，该模型可用于解决任意视角下行动识别的问题。

    Apr, 2019

  • 多模多视角行为视频应用于休闲全息

    Replay 数据集是一组多视角、多模态的人类社交互动视频，可用于新视角合成、3D 重建、新视角声学合成、人体和面部分析以及生成模型训练，并提供了一个新视角合成的基准测试。

    Jul, 2023