CVPRFeb, 2021

基于时间对比学习的半监督动作识别

PDF
TL;DR通过利用不同视频播放速度下不改变动作的特性，利用未标记的视频，学习两通道时间对比模型，提取时间信息并在多个基准数据集和网络架构上实现优异的半监督图像识别效果。
action recognitionsemi-supervised learningvideo speed manipulationtemporal contrastive modelunlabeled video
发现论文，激发创造
  • TimeBalance: 半监督动作识别的时间不变和时间独特的视频表示

    文章通过自监督学习方法，提出了一个基于时间均衡的学生 - 教师半监督学习框架，动态地结合具有时变不变性和时变区别性的两个教师的知识，从而取得了 UCF101，HMDB51 和 Kinetics400 三个动作识别基准数据集的最新性能。

    Mar, 2023

  • 利用时间梯度进行半监督动作识别学习

    本文提出利用时态梯度提升多模态特征提取以改善在少量标记数据情况下的半监督视频动作识别，方法在多个半监督设置中均取得了最先进的结果。

    Nov, 2021

  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 视频表示学习中的视觉节奏一致性

    本文提出一种基于视觉节奏的自监督学习方法，通过 VTHCL 算法，最大化慢速和快速视频表示之间的互信息来学习视频表示，并在动作识别任务上实现了较为竞争的表现。

    Jun, 2020

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024

  • 视频动作检测端到端半监督学习

    提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

    Mar, 2022

  • 基于运动预测的自监督视频表示学习

    本文提出了一种新的自监督视频表示学习方法，即通过视频速度预测的方法来引导网络学习空间 - 时间特征，通过对相似视频内容最大化协同一致性来使模型区分不同速度的视频。实验表明，该方法在不同网络结构和数据集上均取得了现有最佳结果。

    Aug, 2020

  • 利用可变的回放速度预测视频的自监督视觉学习

    提出了一种无需标注数据的自我监督视觉学习方法，通过预测视频播放速度的变化来学习视频的时空视觉表示，同时运用可变播放速度下视觉外观的变化来学习整个视频的时空视觉特征，并提出了一种新的可应用于三维卷积神经网络的可靠的时间组归一化方法，最终在 UCF-101 和 HMDB-51 数据集上验证了该方法的有效性。

    Mar, 2020

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 基于时序对比学习的细粒度弱监督时序动作定位

    本论文旨在提高弱监督行动定位任务的性能，通过设计了 Fine-grained Sequence Distance（FSD）对比和 Longest Common Subsequence（LCS）对比两个互补型对比模块（Contrastive Objectives），解决了现有方法中分类学习与本地化学习之间的严重模糊性问题。

    Mar, 2022