Feb, 2024

装配视频中斗争判定的数据集和基准线

PDF
TL;DR本文提供了一个新的视频数据集，包含了装配水管、搭建帐篷和汉诺塔游戏等三种实际问题解决活动的视频片段，并通过专家和众包的方式对视频片段进行了标注，从而评估了困难分类、困难水平回归和困难标签分布学习等决策任务。此工作旨在帮助分析困难、支持用户在手动活动中并鼓励学习，以及实现其他视频理解能力。
发现论文，激发创造
  • Assembly101: 一个用于理解程序活动的大规模多视角视频数据集

    Assembly101 是一个新的过程性活动数据集，包含 4321 个视频，演示了人们组装和拆卸 101 个 “拆卸” 玩具车辆，并进行了注释以进行识别，预测和时间分割。 此外，他们还提出了一个新的错误检测任务。

    Mar, 2022

  • IKEA ASM 数据集：通过动作、物体和姿态理解人们组装家具

    这篇论文介绍了一种三百万帧的多视角家具组装视频数据集 IKEA ASM，其中包含深度、原子动作、对象分割和人体姿态等多种数据。研究者在该数据集上对视频动作识别、对象分割和人体姿态估计等任务进行了基准测试，为开发综合方法、集成多模和多视角数据等方面提供了依据。

    Jul, 2020

  • 全尺寸装配模拟测试平台（FAST）数据集

    近年来，许多研究人员开始研究虚拟现实（VR）追踪和交互数据在各种机器学习目的中的应用，包括用户识别、预测晕动症和估计学习收益。本文介绍了一项由我们基于 VR 的全尺寸装配模拟测试台（FAST）捕获的新的开放数据集。该数据集包括了来自 108 名参与者（50 名女性，56 名男性，2 名非二元）在 VR 中学习如何组装两个不同的全尺寸结构的数据。除了解释数据集的收集方式和描述包含的数据外，我们还讨论了该数据集如何被未来研究人员使用。

    Mar, 2024

  • DAiSEE: 野外用户参与度识别

    DAiSEE 是第一个包含 9068 个视频片段和 112 个用户的多标签视频分类数据集，用于识别烦恼、困惑、参与和挫败用户情感状态，具有四个级别的标签。提供了基准结果和用于相关任务的合适机器学习方法的发展。

    Sep, 2016

  • 如何理解视频中的人类行为所需的行动？

    这篇论文分析了当前视频中人类活动理解的研究现状和未来方向，探讨了数据集，评估指标，算法和未来发展方向，并提出需要掌握的信息以实现活动理解的重大进展。

    Aug, 2017

  • 从生活 Vlogs 到日常互动

    本文提出从大量互动丰富的视频数据开始，对人类基本交互的理解进行研究，通过对手部进行分析和注释，获得了更大规模、更丰富多样化的数据，并展示了语义物体接触识别、帧级非语义接触状态识别和手部未来预测等任务的实现。

    Dec, 2017

  • 家庭中的好莱坞：众包数据收集用于行为理解

    使用 “好莱坞在家” 这一方法，提出了一种收集现实多样日常场景样本的新型数据集 Charades，以及在该数据集上进行的动作识别和自动化描述生成任务的基准结果，这有望为计算机视觉领域提供独特的挑战和机遇。

    Apr, 2016

  • YouTube-8M Kaggle 竞赛：挑战和方法

    本文介绍了我们参加 YouTube-8M 视频理解挑战的经历和成果，并提供了基于帧级数据的机器学习问题的深入分析和解决方案。我们通过统一平均的多剪辑集成方法，只使用提出的策略就实现了前十名的成绩，同时也介绍了一些有潜力但时间不足无法训练到收敛的方法。希望本文能起到对 YouTube-8M 多标签视频分类基准的一定回顾和指导作用，激发未来尝试和研究的灵感。

    Jun, 2017

  • 人类装配视频数据集以全面理解装配知识

    为了实现未来的超级智能工业，本论文提出了 HA-ViD—— 第一个可用于代表性工业组装场景、自然过程知识获取过程和一致的人机共享注释的人类组装视频数据集，主要解决组装过程中知识理解、流程效率、任务协作、技能参数和人类意图等方面的问题。

    Jul, 2023

  • 滑冰之诗讲习班与挑战：方法与结果

    SkatingVerse 工作坊和挑战旨在鼓励开展研究，致力于开发新颖而准确的方法来理解人类行为。介绍了 SkatingVerse 数据集、训练子集和测试子集，并提供了该挑战的前三种方法的简要概述。

    May, 2024