CVPRMay, 2022

跨架构自监督视频表示学习

PDF
TL;DR本文提出一种新的跨架构对比学习（CACL）框架，用于自监督视频表示学习，使用 3D CNN 和视频变换器并行生成对比学习中多样化的正对，同时引入了一个具有明确视频序列编辑距离预测能力的时间自监督学习模块，用于学习强大的时序性表示，在 UCF101 和 HMDB51 数据集上表现卓越，超越 VideoMoCo 和 MoCo + BE 等现有技术。
self-supervisedvideo representationcontrastive learning3d cnntemporal order
发现论文，激发创造
  • 自监督视频表示学习的 Cycle-Contrast

    通过 CCL 方法，我们可以自我学习视频表示，从而在基于视频的应用程序中实现更好的性能。

    Oct, 2020

  • 跨架构正对增强自监督学习效果

    本研究采用交叉神经网络和 CNN 的自我监督学习方法（CASS），相比现有的状态 - of-the-art 的自我监督学习方法，在四个不同的数据集上表现更好，而且时间更短，对于批量大小和训练时期的更改也更具鲁棒性，开源的代码可以在指定的 URL 下载。

    Jan, 2023

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

    Aug, 2020

  • 跨体系结构自监督下的高效医疗表示学习

    在医疗和生物医学应用中，极端的计算要求对采用表示学习构成了重大障碍。本研究提出了一种名为 CASS（Cross Architectural - Self Supervision）的创新孪生自监督学习方法，通过协同使用 Transformer 和卷积神经网络（CNN）进行高效学习，从而克服了现有自监督学习方法在临床实验环境中使用较小批量大小或较短预训练周期时性能降低的问题，并且在四个多样化的医疗数据集上优于现有方法。实验证明，CASS 训练的 CNN 和 Transformer 在仅有 1% 标记数据用于微调时平均性能提高了 3.8%，在 10% 标记数据下提高了 5.9%，而在 100% 标记数据下提高了惊人的 10.13%。值得注意的是，CASS 相比现有最先进方法减少了预训练时间 69%，更适合临床实施，并且 CASS 对批量大小和预训练周期的变化更为稳健，使其成为医疗应用中的机器学习的合适选择。

    Aug, 2023

  • 通过序列对比学习获取长视频的逐帧动作表示

    本文提出了一种新颖的对比行动表示学习（CARL）框架，用于以自我监督的方式学习帧级行动表示，特别是针对长视频。该框架包括一个简单而高效的视频编码器，以及应用于一系列时空数据增强的新颖序列对比损失（SCL）。我们通过 FineGym，PennAction 和 Pouring 数据集的实验证明，该方法在下游的细粒度行动分类任务上表现出明显的优越性。 令人惊讶的是，即使没有对配对视频进行训练，我们的方法在视频对齐和细粒度帧检索任务上也表现出了出色的性能。

    Mar, 2022

  • CrossVideo: 点云视频理解的自监督跨模态对比学习

    本文介绍了一种名为 CrossVideo 的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术，我们实现了对点云视频的有效理解，并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明，我们的方法明显超过了先前的最先进方法，并进行了全面的消融研究来验证我们提出的设计的有效性。

    Jan, 2024

  • 自监督同步下的音频和视频模型协同学习

    该研究通过自监督的时间同步学习模型实现音频和视频分析的目的，模型能够在没有微调的情况下有效地识别出时序同步的音频 - 视频配对，并提供了一种非常有效的初始化方式以改善基于视频的动作识别模型的准确性。

    Jun, 2018

  • CASS: 跨结构自监督用于医学图像分析

    本论文介绍 Cross Architectural - Self Supervision (CASS), 一种同时利用 Transformer 和 CNN 的新型自我监督学习方法。实验证明，与现有自我监督学习方法相比，CASS 训练的 CNN 和 Transformer 在四个不同的数据集上提高了平均 3.8%（有 1% 的标注数据），5.9%（有 10% 的标注数据）和 10.13%（有 100% 的标注数据），同时花费了少达 69％的时间。同时，CASS 对批量大小和训练时期的改变更具有鲁棒性。

    Jun, 2022

  • 视频表示学习的自监督时序判别学习

    本研究提出一种新的基于视频的自监督学习框架 VTDL，通过增加时间三元组数据的容量来增强时间特征表示的能力，并使用 Temporal Consistent Augmentation（TCA）设计器进行时间信息测量。该方法在动作识别任务中具有显著优势，并且在使用小规模视频数据集进行预训练时，该自监督方法优于完全监督方法。

    Aug, 2020

  • 可组合增强编码用于视频表示学习

    研究自监督视频表示学习中的对比方法，提出一种考虑数据增强变量的对比学习框架，以提高针对时间信息进行的微粒视频动作识别的性能，并在多个视频基准测试中达到最先进水平。

    Apr, 2021