Mar, 2022

通过序列对比学习获取长视频的逐帧动作表示

HTML
PDF
TL;DR本文提出了一种新颖的对比行动表示学习（CARL）框架，用于以自我监督的方式学习帧级行动表示，特别是针对长视频。该框架包括一个简单而高效的视频编码器，以及应用于一系列时空数据增强的新颖序列对比损失（SCL）。我们通过FineGym，PennAction和Pouring数据集的实验证明，该方法在下游的细粒度行动分类任务上表现出明显的优越性。 令人惊讶的是，即使没有对配对视频进行训练，我们的方法在视频对齐和细粒度帧检索任务上也表现出了出色的性能。
发现论文，激发创造
  • 视频表示学习中的视觉节奏一致性

    本文提出一种基于视觉节奏的自监督学习方法，通过 VTHCL 算法，最大化慢速和快速视频表示之间的互信息来学习视频表示，并在动作识别任务上实现了较为竞争的表现。

    Jun, 2020

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到70.4%的top-1准确率

    Aug, 2020

  • 自监督视频表示学习的Cycle-Contrast

    通过CCL方法，我们可以自我学习视频表示，从而在基于视频的应用程序中实现更好的性能。

    Oct, 2020

  • 视频动作识别和检索的时间对比图学习

    提出了一种名为TCGL的自监督学习方法，通过建立图模型来学习视频的时序表示，利用“片段内”和“片段间”的时间依赖作为时序表示学习的自监督信号，在大规模行动识别和视频检索基准测试中展示了显著的性能优势。

    Jan, 2021

  • TCLR: 视频表征的时序对比学习

    本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部-局部时间对比损失和全局-局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

    Jan, 2021

  • 基于时间对齐视频学习

    本研究提出了一种自监督学习方法，利用时间视频对齐作为前提任务，同时利用帧级别和视频级别信息，通过时间对齐损失和时间正则化项的结合来训练编码器网络，通过在不同数据集上的广泛评估验证其在视频表示学习方面的出色性能。

    Mar, 2021

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • CoCon: 合作-对比学习

    我们提出了一种协作版对比学习方法，利用数据驱动的采样来利用多个输入视频视图之间的隐式关系，以应对该问题，并在动作识别这一下游任务上取得了竞争性能表现。

    Apr, 2021

  • 通过潜在时间导航进行自监督视频表示学习

    本文提出了一种时间参数对比学习策略Latent Time Navigation (LTN)，以捕捉细微的运动，从而增强视频表示学习模型中时间感知特性，使模型在fine-grained和面向人类的任务中的分类性能得到了显著提高。同时，在预训练于Kinetics-400数据集的基础上，该模型在UCF101和HMDB51数据集上也取得了state-of-the-art的行动识别性能。

    May, 2023

  • 基于可微局部对齐的自监督视频对比学习

    该研究解决了视频分析中对稳健帧级嵌入的需求，提出了一种自监督的表示学习方法，侧重于时间视频序列的对齐。通过引入局部对齐对比损失（LAC），结合了可微局部对齐损失和对比损失，显著提升了模型在动作识别任务中的表现，展现了新的对齐方法的潜力。

    Sep, 2024