CVPRMay, 2024

FineParser: 一个用于人类动作质量评估的细粒度时空动作解析器

PDF
TL;DRFineParser 是一种细粒度的时空动作解析器，通过学习人体为中心的前景动作表示并利用其细粒度的时间和空间对齐，最小化评估过程中无效背景的影响，从而提高行动质量评估的准确性和解释性。
action quality assessmentfine-grained understandingspatial-temporal action parserfineparserfine-grained action understanding
发现论文，激发创造
  • FineDiving: 一份针对过程感知的动作质量微观数据集

    本文提出考虑比赛运动的高层语义和内部时间结构是提高预测准确性和可解释性的关键，并根据 FineDiving 数据集和 Tempoal Segmentation Attention 模块来提高动作质量的评估方法。

    Apr, 2022

  • 时序解析变换器用于动作质量评估

    通过时间解析变压器将运动分解为时间部分级表示，采用对比回归与分级损失函数用于动作质量评估，提高了当前方法在多个 AQA 基准测试中的性能。

    Jul, 2022

  • FineAction：用于时间动作本地化的细粒度视频数据集

    开发了一个新的大规模、细粒度视频数据集 FineAction，共包含 106 个动作类别的 103k 个时间实例，在 17k 个未修剪的视频中进行了注释，用于对时间动作定位进行基准测试，并深入分析了细粒度实例对时间动作定位的影响。

    May, 2021

  • FineGym：一种用于精细行为理解的层次视频数据集

    本研究基于体操比赛视频开发了 FineGym 数据集，提供了具有三层语义层次的动作和子动作的时间标注，挑战了运动分析中的行为识别和区分问题。

    Apr, 2020

  • CoFInAl：利用粗到细的指令对鉴定行动质量进行增强

    CoFInAl 提出了一种层级方法，将动作质量评估（AQA）改造为一个粗粒度到细粒度分类任务，通过与庞大的预训练任务对齐，以捕捉 AQA 中的微妙信号，实验结果在两个长期 AQA 数据集上取得了最先进的性能。

    Apr, 2024

  • 一种通过姿势引导的粗到细框架进行部件级动作解析的方法

    该研究提出了一种用于行动识别的粗到细框架，旨在预测视频级别的行动，并识别视频中每个人体部分的帧级细粒度操作或交互，通过 Kinetics-TPS 的全面实验，该框架取得了最先进的性能，在 31.10％的 ROC 得分上优于现有方法。

    Mar, 2022

  • 基于层级原子动作的细粒度视频弱监督时序动作检测

    本文提出一种弱监督的方法来检测细粒度视频动作，通过自我监督聚类获取可重复和自动发现的原子动作集合，并结合语义标签层次将原子动作映射到细粒度和粗粒度行动标签，最终构建了四个层次的视频可视化表示层次，在两个大型数据集上实验表明该方法在细粒度动作检测方面取得了最优性能。

    Jul, 2022

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • 嵌套神经符号法对动作质量评估的研究

    使用计算机视觉进行行动质量评估的研究通过神经网络从视频数据中提取可解释的符号，并应用规则进行质量评估。该研究以潜水为案例研究，发现领域专家更喜欢该系统，并认为它比纯粹的神经网络方法在潜水行动质量评估方面更具信息量。该系统还实现了先进的动作识别和时间分割，并自动生成详细报告，将潜水行动分解为各个元素，并提供带有可视证据的客观评分。通过一组领域专家的验证，该报告可以用于协助评委打分，培训评委，并向潜水员提供反馈。研究人员将公开其所有的标注训练数据和代码以便于可重复性。

    Mar, 2024

  • 时间查询网络用于细粒度视频理解

    本文介绍了一种基于 Temporal Query Network 的时空查询机制，通过稠密采样与随机特征库更新方式实现了对细粒度行为的分类，最终在 FineGym 和 Diving48 的数据集上达到了当前最佳效果。

    Apr, 2021