CVPRJan, 2022

将视频表示为用于动作识别的判别子图

PDF
TL;DR本文提出了一种新型的 MUlti-scale Sub-graph LEarning 架构，通过构建空间时间图并将其分解成相对于节点数的紧凑的子图来表示和编码每个视频片段中每个动作的鉴别模式，进行在线聚类并选择判别性子图作为行动原型进行识别，实验证明其优于同类方法。
发现论文，激发创造
  • 复杂活动中基于无监督判别嵌入的子动作学习

    本文提出了一种新的对复杂活动中的子动作进行非监督学习的方法，将视觉和时间表示映射到一个空间中，利用 “判别式潜在概念学习” 模块进行无监督的子动作学习，可以在视觉和时间嵌入空间中学习到稳健的动作表示。

    Apr, 2021

  • 基于分层图的视频双手动作识别与描述生成方法

    将图形模型化与分层分级注意机制相结合的新型方法，提高了视频描述的精确性和完整性，通过在场景图中编码对象和动作之间的时空相互依赖性，再结合 3 级图形注意力网络构建了分层分级的注意机制，从而实现了并行生成具有不同语义复杂性的视频描述，提高了动作识别和描述的准确性。

    Oct, 2023

  • 层次化中层动作元素的动作识别

    该论文提出使用层次结构的中层动作元素来表示视频，提出了一种无监督方法来生成这种表示，用于多个空间和时间分辨率的动作识别，并在多种动作识别基准测试中实现了最先进的性能。

    Aug, 2015

  • 深度视频中的多模态多部分学习与动作识别

    提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

    Jul, 2015

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 使用行动图进行组合式视频合成

    本文首次提出 Action Graph 结构来实现多协调及可能同时进行的时间动作相关视频的生成方式，通过 AG2Vid 模型实现了运动和外观特征的分离，并引入了调度机制以协助视频生成，经过对 CATER 和 Something-Something V2 数据集的训练和评估，证明与基线相比，所生成的视频具有更好的视觉质量和语义一致性。同时，该模型还展现了零样本能力，在生成已学习动作的新组合等方面表现出良好的效果。

    Jun, 2020

  • 学习潜在的时空组合模型用于人类动作识别

    通过构建表达力强的组合行为模型，模拟视频中动作实例的时空组合，采用弱监督学习算法，识别行为的潜在结构，最终实验结果表明该方法在动作识别方面的表现优于竞争方法。

    Feb, 2015

  • 视频作为时空区域图

    本文提出了利用时空区域图来捕捉人类行为识别的两个重要线索、以及通过图卷积网络来推理这种表示方法的模型，取得了 Charades and Something-Something 数据集上的最优结果

    Jun, 2018

  • 基于多标签证据学习的开放集行为识别

    提出了一种基于 MUlti-Label Evidential 学习的方法，使用 Beta Evidential 神经网络评估多种不确定性，添加证据去偏执约束来优化模型，并结合不确定性和置信度机制来检测新颖行为，实验表明这一方法在单 / 多演员，单 / 多动作的情况下实现了良好的性能。

    Feb, 2023

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024