CVPRApr, 2022

从未剪辑的视频中学习：分层一致性自监督视频表示学习

PDF
TL;DR本文提出了一种 Hierarchical Consistency (HiCo) 学习框架，该框架利用未剪辑视频中更为丰富的信息来学习一种层次化的一致性，通过对视觉一致性及主题一致性进行学习，相对于传统对比学习而言，HiCo 框架在生成未剪辑视频的表征上表现更强，并且应用于剪辑视频的情况时也能提高表征质量。
self-supervised learningspatio-temporal representationsuntrimmed videosconsistency learningcontrastive learning
发现论文，激发创造
  • 层次化解耦空间 - 时间对比用于自监督视频表征学习

    提出一种新的自监督视频表示学习技术，通过将学习目标分解为两个对比子任务并分层进行，强调空间和时间特征，从而鼓励多尺度理解。通过实验表明，可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义，并提出一种方式，使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。

    Nov, 2020

  • 视频表示学习中的视觉节奏一致性

    本文提出一种基于视觉节奏的自监督学习方法，通过 VTHCL 算法，最大化慢速和快速视频表示之间的互信息来学习视频表示，并在动作识别任务上实现了较为竞争的表现。

    Jun, 2020

  • 分层组合自监督视觉表示学习

    本文提出了一种从原始视觉分组能力启动视觉表示学习的框架，操作化分组通过轮廓检测器，该检测器将图像分割成区域，并将这些区域合并成树形层次结构。实验表明，我们的方法朝着通用预训练方法的方向发展，其对下游任务有益，并可用于语义区域搜索和基于视频的对象实例跟踪。

    Dec, 2020

  • 时间等变对比视频表示学习

    介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

    Dec, 2021

  • SeCo: 探索序列监督以实现无监督表示学习

    本文探索了三个不同侧重的监督学习方式，并借此提出了一种名为 SeCo 的序列对比学习方法，可以优化行动识别、物体追踪等任务的结果。

    Aug, 2020

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了 ConST-CL 在 6 个数据集上取得了具有竞争力的结果，包括 Kinetics，UCF，HMDB，AVA-Kinetics，AVA 和 OTB。

    Dec, 2021

  • 时间不会欺骗：稠密图像特征的自监督时间调整

    本研究提出了一种名为时间调谐的方法，通过在无标签视频上使用一种新颖的自监督时序对齐聚类损失函数，从而提高视频和图像的表示质量，进而改善了现有最先进方法在无监督语义分割方面的效果。我们相信这种方法为进一步利用丰富的视频资源进行自监督学习的规模化铺平了道路。

    Aug, 2023

  • 自监督视频预训练产生强大的图像表示

    提出了一种名为 VITO 的简单范式，通过对动态视频帧的自我监督学习，有效地学习图像表示，该方法实现了视频预训练模型在语义分割和对象检测等任务上与 ImageNet 预训练模型性能相近甚至更好的表现，未来视频预训练有望成为学习图像表示的新默认方法。

    Oct, 2022

  • 电影理解的分层自监督表征学习

    本文介绍了一种面向电影理解的自监督视频学习方法，采用分层的预训练策略，在低层进行对比学习，高层则采用事件遮罩预测任务来预训练视频上下文模型，并在 VidSitu 基准测试中表现出更好的性能。同时，在 LVU 任务中，我们还展示了上下文化事件特征的有效性。

    Apr, 2022

  • 利用时序相干性进行自监督单次视频再识别

    本文提出了一种新的基于时间一致性递进学习的框架，利用自监督辅助任务来捕捉未被标记的轨迹之间的关系，从而更好地实现视频检索中的标记，相比现有技术提高了高达 8% 的未标记数据真实标记的准确性和重识别的性能。

    Jul, 2020