Oct, 2020

自监督共同训练用于视频表示学习

PDF
TL;DR本文提出以自监督为主的视频特征学习方法，其中利用语义正例和共同训练提高了训练效果，同时也获得了在动作识别等任务上与其他自监督方式相当的性能。
self-supervised learningsemantic-class positivesinfo noise contrastive estimationco-training schemeaction recognition
发现论文，激发创造
  • 利用 Inter-intra 对比框架进行自监督视频表示学习

    本文提出了一种基于自我监督学习的视频特征表示方法，在传统自我监督学习的基础上通过引入内部负样本来扩展负样本集，从而使单个视频更加充分地表达时空信息，并能够有效地提高视频检索和识别的性能。

    Aug, 2020

  • CoCon: 合作 - 对比学习

    我们提出了一种协作版对比学习方法，利用数据驱动的采样来利用多个输入视频视图之间的隐式关系，以应对该问题，并在动作识别这一下游任务上取得了竞争性能表现。

    Apr, 2021

  • 使用对比双向变换器学习视频表示

    本文提出了一种自监督学习方法，用于视频特征，与现有方法相比在下游任务中表现显著提高，通过将文本序列的 BERT 模型扩展到实值特征向量序列的情况，以噪声对比估计取代 softma 损失函数，同时展示了如何从可视特征序列和 ASR 派生的词序列中学习表示，并且表明这样的跨模态训练可以进一步提高性能。

    Jun, 2019

  • 来自未标记视频的最近邻内部对比学习

    该研究介绍了一种叫做 Inter-Intra Video Contrastive Learning (IIVCL) 的方法，利用来自全局空间的最近邻视频作为额外的正对。该方法提高了正关键图的多样性，并引入了一个更松散的相似性概念，扩展到了视频甚至跨类边界。在一系列视频任务上，性能得到了提高。

    Mar, 2023

  • 自监督学习视频诱导视觉不变性

    通过使用 Video-Induced Visual Invariances (VIVI) 的自监督学习框架，本文提出了一种可以在 19 种视觉任务中实现超过最佳监督模型的自监督转移学习方法。

    Dec, 2019

  • 利用运动对比感知进行自监督视频表征学习

    本文提出了基于长程残差帧和运动对比知觉网络的视频表示学习方法，旨在通过自监督学习获得更多的运动特定信息，并通过对比学习提高模型的语义表达性能，实验结果表明该方法对于 UCF-101 和 HMDB-51 数据集具有较高的性能表现。

    Apr, 2022

  • 从未标记的视频中进行表征学习：看着世界走过去

    本研究提出了使用视频自然增广的无标签视频学习方法，可以有效地提取单个图像的表示，并可用于各种时间和非时间任务中。

    Mar, 2020

  • SINCERE: 监督信息噪声对比估计再探讨

    通过改进 InfoNCE 的 Supervised InfoNCE REvisited（SINCERE）损失函数，我们提出了一种理论上合理的自监督深度学习方法，可以有效防止同类图像在嵌入空间中互相排斥，从而提高预训练过程中的类别嵌入分离性和最终线性分类器的性能。

    Sep, 2023

  • 自监督视频表示学习与元对比网络

    本文提出了一种结合对比度学习和元学习的元对比网络（MCN）方法，以增强现有自我学习方法的学习能力，并且在视频动作识别和视频检索等两个下游任务中，比当前最先进的方法在 UCF101 和 HMDB51 数据集上均有较好表现。

    Aug, 2021

  • 示范对比学习

    该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

    Jan, 2022