Aug, 2020

视频表示学习的自监督时序判别学习

PDF
TL;DR本研究提出一种新的基于视频的自监督学习框架 VTDL，通过增加时间三元组数据的容量来增强时间特征表示的能力，并使用 Temporal Consistent Augmentation（TCA）设计器进行时间信息测量。该方法在动作识别任务中具有显著优势，并且在使用小规模视频数据集进行预训练时，该自监督方法优于完全监督方法。
video-based learningself-supervised learningtemporal feature representationaction recognitiondistance minimization
发现论文，激发创造
  • 层次化解耦空间 - 时间对比用于自监督视频表征学习

    提出一种新的自监督视频表示学习技术，通过将学习目标分解为两个对比子任务并分层进行，强调空间和时间特征，从而鼓励多尺度理解。通过实验表明，可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义，并提出一种方式，使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。

    Nov, 2020

  • TCLR: 视频表征的时序对比学习

    本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

    Jan, 2021

  • 时间信息能帮助对比自监督学习吗？

    本篇论文提出了 Temporal-aware Contrastive self-supervised learning （TaCo）的方法，该方法通过选择一组强大的时态变换，不仅作为数据强化，还作为额外的自我监督来构成视频理解的重要组成部分，从而可以提高无监督视频表示学习，大幅改善了下游分类任务的成果。

    Nov, 2020

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • TimeBalance: 半监督动作识别的时间不变和时间独特的视频表示

    文章通过自监督学习方法，提出了一个基于时间均衡的学生 - 教师半监督学习框架，动态地结合具有时变不变性和时变区别性的两个教师的知识，从而取得了 UCF101，HMDB51 和 Kinetics400 三个动作识别基准数据集的最新性能。

    Mar, 2023

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 视频对应的时空自监督学习

    本文提出了一种空间 - 时间自我监督学习方法，通过对无标注图像的对比学习来提取空间特征，并通过重构学习利用无标注视频中的时间线索增强特征，以在视频分析任务上取得比现有自我监督方法更好的表现，并进行了削减研究以验证两步设计以及蒸馏损失的有效性。

    Sep, 2022

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024