Mar, 2023

TimeBalance: 半监督动作识别的时间不变和时间独特的视频表示

HTML
PDF
TL;DR文章通过自监督学习方法，提出了一个基于时间均衡的学生-教师半监督学习框架，动态地结合具有时变不变性和时变区别性的两个教师的知识，从而取得了UCF101，HMDB51和Kinetics400三个动作识别基准数据集的最新性能。
发现论文，激发创造
  • 从未修剪的视频中单时间戳监督的动作识别

    使用单个时间戳代替昂贵的包含行动界限的监督信息，通过不断更新采样分布，进而使其收敛至判别性行动段的位置和范围，从而取得良好的视觉识别效果。

    Apr, 2019

  • 视频动作识别的大规模弱监督预训练

    使用大量网络视频进行预训练能够显著提高三个具有挑战性的公共行动识别数据集的性能，并对弱监督视频行动数据集的构建进行了深入研究。

    May, 2019

  • 只有时间能告诉我们：发现用于时间建模的时间数据

    该研究通过构建一个基于 '时间数据集' 的分类器来研究理解视觉世界如何随时间变化以及在视频理解中，Temporal与Static Action Classes 的区别；并表明更多的时间数据可以帮助提高模型性能。

    Jul, 2019

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高UCF101和HMDB51上的动作识别的传递性能。

    Jul, 2020

  • 基于时间对比学习的半监督动作识别

    通过利用不同视频播放速度下不改变动作的特性，利用未标记的视频，学习两通道时间对比模型，提取时间信息并在多个基准数据集和网络架构上实现优异的半监督图像识别效果。

    Feb, 2021

  • 基于时间对齐视频学习

    本研究提出了一种自监督学习方法，利用时间视频对齐作为前提任务，同时利用帧级别和视频级别信息，通过时间对齐损失和时间正则化项的结合来训练编码器网络，通过在不同数据集上的广泛评估验证其在视频表示学习方面的出色性能。

    Mar, 2021

  • 利用时间梯度进行半监督动作识别学习

    本文提出利用时态梯度提升多模态特征提取以改善在少量标记数据情况下的半监督视频动作识别，方法在多个半监督设置中均取得了最先进的结果。

    Nov, 2021

  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 时间至上: 为视频Transformer提供时间自监督

    本文提出了一种面向视频任务的基于Transformer的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • FinePseudo：通过时间对齐改进伪标签在半监督细粒度动作识别中的应用

    本研究针对现有半监督动作识别主要集中于粗粒度问题的空白，深入探讨了细粒度动作识别（FGAR）。我们提出了一种基于对齐验证的度量学习技术，显著提高了细粒度动作对的分类性能，并提出的伪标签框架“FinePseudo”在多个细粒度数据集上表现优异，显示出其在开放世界半监督设置中的鲁棒性。

    Sep, 2024