Apr, 2023

ATTACH 数据集：人类动作理解中带注释的双手装配动作

PDF
TL;DR以协作型机器人为代表的人机协作正在工业制造业中成为研究热点，为了提高其自主性与辅助功能，我们设计了 ATTACH 数据集，该数据集包含超过 51 小时的装配活动，涵盖了 95.2k 个精细注释的动作，为研发基于三维视觉的自主装配机器人提供了支持。
cobotshuman-robot collaborationassembly actionsattach datasetaction recognition
发现论文，激发创造
  • AssemblyHands: 通过 3D 手部姿态估算实现自我中心活动理解

    AssemblyHands 是一份大规模基准数据集，包括 3D 手部姿态注释和同步的自中心和非中心图像，旨在研究具有挑战性的手 - 物体交互，可应用于 3D 手部姿态的估计和行动识别任务。

    Apr, 2023

  • IKEA ASM 数据集：通过动作、物体和姿态理解人们组装家具

    这篇论文介绍了一种三百万帧的多视角家具组装视频数据集 IKEA ASM，其中包含深度、原子动作、对象分割和人体姿态等多种数据。研究者在该数据集上对视频动作识别、对象分割和人体姿态估计等任务进行了基准测试，为开发综合方法、集成多模和多视角数据等方面提供了依据。

    Jul, 2020

  • 融合手部和身体骨架进行装配中的人体动作识别

    提出了一种结合较少详细的人体骨骼和高度详细的手部骨骼，通过使用注意力从两种骨骼类型中提取和组合重要信息的方法，以增强装配场景中的动作识别效果。

    Jul, 2023

  • 人类装配视频数据集以全面理解装配知识

    为了实现未来的超级智能工业，本论文提出了 HA-ViD—— 第一个可用于代表性工业组装场景、自然过程知识获取过程和一致的人机共享注释的人类组装视频数据集，主要解决组装过程中知识理解、流程效率、任务协作、技能参数和人类意图等方面的问题。

    Jul, 2023

  • 在工业装配线上利用基础模型自动数据增强策略和骨骼点进行手部动作识别

    在现代工业装配线上，研发了许多智能算法来取代或监督工人。然而，我们发现在实际装配线上部署算法时，训练数据集和实时性能存在瓶颈。因此，我们开发了一种有前景的策略，利用具有强大泛化能力的大型模型来实现高效、高质量和大规模的数据集扩充，解决了工业数据集不足和质量低的问题。我们还将该策略应用于视频动作识别领域，提出了一种将手部动作识别问题转化为手部骨骼轨迹分类问题的方法，解决了工业算法的实时性能问题。在实际装配线上的 “线材插入过程中的手部动作” 场景下，手部动作识别的准确率达到了 98.8%。我们进行了详细的实验分析，展示了该方法的有效性和优越性，并在美的实际装配线上部署了整个过程。

    Mar, 2024

  • 物体信息如何提高基于骨架的人体动作识别在装配任务中的表现

    本文探讨了如何将目标物体信息融入基于骨架的行为识别，以提高人员 - 机器人协作的效率和智能化水平，并在 IKEA ASM 数据集的实验中证明了该方法能够提高目前先进方法的性能。

    Jun, 2023

  • AVA-Kinetics 本地化人类行为视频数据集

    该论文介绍了 AVA-Kinetics 本地化人类行为视频数据集，其中包含超过 230k 个帧，对每个人的关键帧进行了 80 个 AVA 动作类的注释，通过视频行动变换网络在 AVA-Kinetics 数据集上进行了基线评估，并证明了在 AVA 测试集上行动分类的表现有所改善。

    May, 2020

  • GRAB: 一个全身人类抓取物体的数据集

    该研究通过收集一个新的名为 GRAB 的数据集，包含 10 个零件与 51 个日常物品的互动，详细描述了人类整体抓握物品的过程。通过这个数据集，研究者运用生成式网络训练预测人类手部抓握姿态的模型，以帮助更好地理解人体与物品的互动过程。

    Aug, 2020

  • 面向任意视角人体动作识别的大规模多视角 RGB-D 动作数据集

    本文介绍了一个新的大规模 RGB-D 数据集，其中包括固定视角和全方位视角下的 40 种行动，以及 VS-CNN 模型的提出和有效性验证，该模型可用于解决任意视角下行动识别的问题。

    Apr, 2019

  • 运动动作视频动力学人类数据集

    介绍了 DeepMind Kinetics 人类动作视频数据集，包含 400 个动作类别的视频片段，视频时长为 10 秒，并描述该数据集的统计信息、收集方式，以及神经网络在分类和偏差分析方面的性能指标和结果。

    May, 2017