Apr, 2021

复杂活动中基于无监督判别嵌入的子动作学习

PDF
TL;DR本文提出了一种新的对复杂活动中的子动作进行非监督学习的方法，将视觉和时间表示映射到一个空间中，利用 “判别式潜在概念学习” 模块进行无监督的子动作学习，可以在视觉和时间嵌入空间中学习到稳健的动作表示。
unsupervised learningsub-action learningvisual-temporal embeddingdiscriminative latent concept learningaction recognition
发现论文，激发创造
  • 从视频中无监督学习和分割复杂活动

    本文介绍了一种新的无监督视频分割方法，采用迭代鉴别生成方法，通过学习视频视觉特征并建模时序结构，将复杂活动划分为多个子活动，并引入背景模型，验证结果优于现有无监督及弱监督方法。

    Mar, 2018

  • 非修剪序列中无监督行为学习的联合视觉 - 时间嵌入

    本文提出了一种基于视觉和时间嵌入空间的非监督学习方法，在不需要手动注释的情况下，通过连续的视频帧中存在的视觉线索，成功地检测到相关的行动群簇，并且适用于时间分割任务。

    Jan, 2020

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024

  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 集体活动识别的潜在嵌入

    本文提出了一种嵌入潜在变量的深度学习框架，具有关注机制，可用于在集体活动场景中捕捉更丰富的交互信息和背景信息，取得了优于现有方法的性能。

    Sep, 2017

  • 将视频表示为用于动作识别的判别子图

    本文提出了一种新型的 MUlti-scale Sub-graph LEarning 架构，通过构建空间时间图并将其分解成相对于节点数的紧凑的子图来表示和编码每个视频片段中每个动作的鉴别模式，进行在线聚类并选择判别性子图作为行动原型进行识别，实验证明其优于同类方法。

    Jan, 2022

  • 基于语言的动作概念空间改进视频自监督学习

    使用自监督学习方法，对图像 CLIP 模型进行语言约束的调整，以适应视频领域，提高三个行动识别基准测试的零样本和线性探测性能。

    Jul, 2023

  • D2-Net: 通过判别嵌入和去噪激活进行弱监督行动定位

    本文提出了一种名为 D2-Net 的弱监督时间动作本地化框架，其尝试使用视频级监督来对动作进行时间定位。其中，我们的创新主要体现在引入了一个新的损失函数，该函数通过联合增强潜在嵌入的可区分性和输出时间类别激活的鲁棒性，从而应对弱监督引起的前景背景噪声。通过综合多个基准测试数据，包括 THUMOS14 和 ActivityNet1.2，我们的 D2-Net 方法在所有数据集上表现良好，其 mAP 在 IoU = 0.5 时可以达到 2.3% 的提高。

    Dec, 2020

  • 视频表示学习的自监督时序判别学习

    本研究提出一种新的基于视频的自监督学习框架 VTDL，通过增加时间三元组数据的容量来增强时间特征表示的能力，并使用 Temporal Consistent Augmentation（TCA）设计器进行时间信息测量。该方法在动作识别任务中具有显著优势，并且在使用小规模视频数据集进行预训练时，该自监督方法优于完全监督方法。

    Aug, 2020

  • 层次结构潜在注意力建模的弱监督动作定位

    本文提出了一种基于注意力机制的分层结构潜在模型，用于学习特征语义的时间变化，通过两个组件进行实现：第一个是无监督的变点检测模块，通过在时间层次中学习视频特征的变化率来检测变点；第二个是基于注意力的分类模型，将前景的变点作为边界来选择。通过在两个基准数据集 THUMOS-14 和 ActivityNet-v1.3 上进行广泛实验，结果表明我们的方法优于当前最先进的方法，并且甚至与全监督方法具有可比较的性能。

    Aug, 2023