ICLRMar, 2023

来自未标记视频的最近邻内部对比学习

PDF
TL;DR该研究介绍了一种叫做 Inter-Intra Video Contrastive Learning (IIVCL) 的方法，利用来自全局空间的最近邻视频作为额外的正对。该方法提高了正关键图的多样性，并引入了一个更松散的相似性概念，扩展到了视频甚至跨类边界。在一系列视频任务上，性能得到了提高。
contrastive learningself-supervised methodsvideopositive pairsinter-intra video contrastive learning
发现论文，激发创造
  • 利用 Inter-intra 对比框架进行自监督视频表示学习

    本文提出了一种基于自我监督学习的视频特征表示方法，在传统自我监督学习的基础上通过引入内部负样本来扩展负样本集，从而使单个视频更加充分地表达时空信息，并能够有效地提高视频检索和识别的性能。

    Aug, 2020

  • 全局背景下的视频对比学习

    该研究提出了一种基于段落的视频级对比学习方法，它使用全局上下文形成正样本，同时还结合了一个时间顺序正则化项来确保视频的时序结构，实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。

    Aug, 2021

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

    Aug, 2020

  • 从朋友那儿获取帮助：最近邻对比学习视觉表示

    NNCLR 是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在 ImageNet 分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

    Apr, 2021

  • CoCon: 合作 - 对比学习

    我们提出了一种协作版对比学习方法，利用数据驱动的采样来利用多个输入视频视图之间的隐式关系，以应对该问题，并在动作识别这一下游任务上取得了竞争性能表现。

    Apr, 2021

  • 自监督共同训练用于视频表示学习

    本文提出以自监督为主的视频特征学习方法，其中利用语义正例和共同训练提高了训练效果，同时也获得了在动作识别等任务上与其他自监督方式相当的性能。

    Oct, 2020

  • 面向自监督对应学习的区域感知内外视频重构

    利用 LIIR，一种局部感知的交叉和内部视频重建框架，填补了自监督一致性学习中的三个缺失部分，即实例区分、位置感知和空间紧凑性，从而学习视觉对应关系。

    Mar, 2022

  • 自监督对应学习的对比转换

    本研究旨在通过使用野外未标记视频进行自监督学习的视觉对应关系。我们的方法同时考虑了可靠对应估计的视频内部和视频间的表示关联。

    Dec, 2020

  • 自监督视频表示学习的 Cycle-Contrast

    通过 CCL 方法，我们可以自我学习视频表示，从而在基于视频的应用程序中实现更好的性能。

    Oct, 2020

  • SCVRL：洗牌对比视频表示学习

    我们提出了一种新颖的基于对比的框架 SCVRL，用于视频的自监督学习。与以前主要关注学习视觉语义的对比学习方法（例如 CVRL）不同，SCVRL 能够学习语义和动作模式。我们通过将现代对比学习范式引入 popular shuffling pretext 任务，展示了我们的基于 transformer 的网络在自监督设置下自然而然地具备学习运动的能力，并在四个基准测试中取得了 CVRL 的强大性能。

    May, 2022