时间等变对比视频表示学习

ICCVDec, 2021

Time-Equivariant Contrastive Video Representation Learning

Simon Jenni, Hailin Jin

TL;DR介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

Abstract

We introduce a novel self-supervised contrastive learning method to learn representations from unlabelled videos. Existing approaches ignore the specifics of input distortions, e.g., by learning invariance to temporal transformations. Instead, we argue that →

self-supervised contrastive learning video representation temporal transformations equivariance learning action recognition

发现论文，激发创造

通过识别时间转换进行视频表示学习

本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

Jul, 2020

时空对比视频表征学习

本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

Aug, 2020

时间对比网络：从视频中进行自监督学习

提出了一种自监督学习的方法，可以从多个视角拍摄的未标记视频中学习表征和机器人行为，能够用于机器人模仿人类的对象交互和身体姿势，训练该模型使用度量学习损失，使该模型能够发现在不同视角下发生变化但在时间域内不发生变化的属性，并可在强化学习算法中用作奖励函数。

Apr, 2017

时间至上：为视频 Transformer 提供时间自监督

本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

Jul, 2022

视网膜 OCT 中退行性疾病进展的时间等变对比学习

我们提出了一种时间等变对比学习方法，通过引入时间诱发的转换来捕捉纵向成像过程中的变化，该方法在大规模纵向数据集上优于现有的等变对比方法，用于预测中间年龄相关性黄斑变性（AMD）转为先进型湿型 AMD 的进展。

May, 2024

自监督对应学习的对比转换

本研究旨在通过使用野外未标记视频进行自监督学习的视觉对应关系。我们的方法同时考虑了可靠对应估计的视频内部和视频间的表示关联。

Dec, 2020

示范对比学习

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

TimeBalance: 半监督动作识别的时间不变和时间独特的视频表示

文章通过自监督学习方法，提出了一个基于时间均衡的学生 - 教师半监督学习框架，动态地结合具有时变不变性和时变区别性的两个教师的知识，从而取得了 UCF101，HMDB51 和 Kinetics400 三个动作识别基准数据集的最新性能。

Mar, 2023

可组合增强编码用于视频表示学习

研究自监督视频表示学习中的对比方法，提出一种考虑数据增强变量的对比学习框架，以提高针对时间信息进行的微粒视频动作识别的性能，并在多个视频基准测试中达到最先进水平。

Apr, 2021

视频对比学习的概率表示

本文提出了一种概率视频对比学习的自我监督表示学习方法，该方法基于混合高斯将视频剪辑呈现为正常分布并将它们组合成一个高斯分布混合物来建模整个视频分布，通过此方法我们可以避免对剪辑进行转换以生成增强剪辑视图的不必要策略，实验证明该方法在 UCF101 和 HMDB51 等最流行的基准测试上是最先进的视频表示学习方法。

Apr, 2022