Apr, 2022

FineDiving: 一份针对过程感知的动作质量微观数据集

PDF
TL;DR本文提出考虑比赛运动的高层语义和内部时间结构是提高预测准确性和可解释性的关键，并根据 FineDiving 数据集和 Tempoal Segmentation Attention 模块来提高动作质量的评估方法。
action quality assessmentcompetitive sports videosfine-grained datasettemporal segmentation attention modulecontrastive regression
发现论文，激发创造
  • FineParser: 一个用于人类动作质量评估的细粒度时空动作解析器

    FineParser 是一种细粒度的时空动作解析器，通过学习人体为中心的前景动作表示并利用其细粒度的时间和空间对齐，最小化评估过程中无效背景的影响，从而提高行动质量评估的准确性和解释性。

    May, 2024

  • FineGym：一种用于精细行为理解的层次视频数据集

    本研究基于体操比赛视频开发了 FineGym 数据集，提供了具有三层语义层次的动作和子动作的时间标注，挑战了运动分析中的行为识别和区分问题。

    Apr, 2020

  • FineAction：用于时间动作本地化的细粒度视频数据集

    开发了一个新的大规模、细粒度视频数据集 FineAction，共包含 106 个动作类别的 103k 个时间实例，在 17k 个未修剪的视频中进行了注释，用于对时间动作定位进行基准测试，并深入分析了细粒度实例对时间动作定位的影响。

    May, 2021

  • 细粒度动作分析：一个多模态和多任务的花样滑冰数据集

    提出了一个多模态和多任务的花样滑冰数据集（MMFS），其中包含了动作识别和动作质量评估，收集了来自世界花样滑冰锦标赛的 11671 个视频片段，包含 256 个类别，包括空间和时间标签。

    Jul, 2023

  • 关注潜水分类的时空表征学习

    本文提出了一种基于注意力引导的 LSTM 神经网络架构，用于跳水视频的分类任务，并在最近引入的 Diving48 比赛跳水大数据集上对算法性能进行了评估。结果表明，该模型在 2D 和 3D 框架中的分类准确度分别提高了 11.54% 和 4.24%，并且能够在没有这种监督情况下对视频帧中的跳水运动员进行定位。

    Apr, 2019

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • 基于层级原子动作的细粒度视频弱监督时序动作检测

    本文提出一种弱监督的方法来检测细粒度视频动作，通过自我监督聚类获取可重复和自动发现的原子动作集合，并结合语义标签层次将原子动作映射到细粒度和粗粒度行动标签，最终构建了四个层次的视频可视化表示层次，在两个大型数据集上实验表明该方法在细粒度动作检测方面取得了最优性能。

    Jul, 2022

  • 时间查询网络用于细粒度视频理解

    本文介绍了一种基于 Temporal Query Network 的时空查询机制，通过稠密采样与随机特征库更新方式实现了对细粒度行为的分类，最终在 FineGym 和 Diving48 的数据集上达到了当前最佳效果。

    Apr, 2021

  • FineBio：生物实验的细粒度视频数据集及层次化注释

    科学发展中，准确且可重复记录实验过程至关重要。本文提出 FineBio，一种新的细粒度视频数据集，用于研究人员进行生物实验。该数据集具有 32 个参与者执行模拟生物实验的多视角视频，总时长为 14.5 小时。通过对协议、步骤、原子操作、对象位置和其操作状态进行层次化标注，提供了构造活动理解和手 — 物体交互识别的新挑战。通过引入基线模型，并在步骤分割、原子操作检测、对象检测和操作 / 影响对象检测等四个不同任务上的结果，探究了在生物实验中的活动理解挑战。数据集和代码可以通过该 https URL 获得。

    Feb, 2024

  • 从网络监督视频数据中学习细粒度动作概念的 YouTube 数据集挖掘

    介绍了一个大规模的现实世界数据集，该数据集用于评估人类行为识别的学习技术，进一步提出了在无人干预状态下收集数据和训练的方法，并针对该训练数据出现的语义不一致性问题，提出了一个语义分层结构。

    Jun, 2019