Apr, 2022

从未剪辑的视频中学习：分层一致性自监督视频表示学习

HTML
PDF
TL;DR本文提出了一种Hierarchical Consistency(HiCo)学习框架，该框架利用未剪辑视频中更为丰富的信息来学习一种层次化的一致性，通过对视觉一致性及主题一致性进行学习，相对于传统对比学习而言，HiCo框架在生成未剪辑视频的表征上表现更强，并且应用于剪辑视频的情况时也能提高表征质量。
发现论文，激发创造
  • 从未标记的视频中进行表征学习：看着世界走过去

    本研究提出了使用视频自然增广的无标签视频学习方法，可以有效地提取单个图像的表示，并可用于各种时间和非时间任务中。

    Mar, 2020

  • 视频表示学习中的视觉节奏一致性

    本文提出一种基于视觉节奏的自监督学习方法，通过 VTHCL 算法，最大化慢速和快速视频表示之间的互信息来学习视频表示，并在动作识别任务上实现了较为竞争的表现。

    Jun, 2020

  • 利用Inter-intra对比框架进行自监督视频表示学习

    本文提出了一种基于自我监督学习的视频特征表示方法，在传统自我监督学习的基础上通过引入内部负样本来扩展负样本集，从而使单个视频更加充分地表达时空信息，并能够有效地提高视频检索和识别的性能。

    Aug, 2020

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到70.4%的top-1准确率

    Aug, 2020

  • 层次化解耦空间-时间对比用于自监督视频表征学习

    提出一种新的自监督视频表示学习技术，通过将学习目标分解为两个对比子任务并分层进行，强调空间和时间特征，从而鼓励多尺度理解。通过实验表明，可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义，并提出一种方式，使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。

    Nov, 2020

  • 带有跨视频循环一致性的图像表示对比学习

    本文研究了自监督表示学习的核心方法之一——图像内部不变性学习，提出了一种新的基于循环一致性的对比学习方法，探索了跨视频关系，实现了图像表示的有效学习，并在多个下游任务中获得了显著的改进。

    May, 2021

  • ASCNet：具有外观-速度一致性的自监督视频表示学习

    本文提出了两个任务来学习视频外观和速度一致性，并在不使用额外模态或负样本进行无监督预训练的情况下，在UCF-101数据集上实现了90.8％的准确率，这超过了ImageNet 的有监督预训练模型。

    Jun, 2021

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了ConST-CL在6个数据集上取得了具有竞争力的结果，包括Kinetics，UCF，HMDB，AVA-Kinetics，AVA和OTB。

    Dec, 2021

  • 视频场景分割的场景一致性表示学习

    提出了一种有效的自监督学习(SSL)框架，通过探索大量的数据增强和洗牌方法来提高模型的泛化能力，并引入一个简单的时间模型来验证镜头特征的质量，从而实现场景一致性。该方法在Video Scene Segmentation任务上取得了最先进的性能，并提出了更公平合理的评估方法。

    May, 2022

  • 基于时间伪监督的领域自适应视频分割

    本文提出了一种基于时序伪监督的方法（TPS）来进行视频语义分割，该方法可以在适应有标签的源域到无标签的目标域时，通过跨视频帧产生伪标签的方式缓解数据标注的限制，从而提升了处理多样性目标数据时的准确率。实验证明，TPS比现有技术更稳定，更简单易实现，且具有更高的视频语义分割准确率。

    Jul, 2022