ICCVAug, 2021

通过多层特征优化增强自监督视频表示学习

PDF
TL;DR本文提出了一种多层次特征优化框架，利用高级别特征构建分布图并指导低中级别特征学习。同时，设计了简单的时间建模模块以增强运动模式学习，并证明了该方法可以大大提高视频理解中的表示能力。
self-supervised learningvideo representationtemporal modelingmulti-level feature optimizationmotion pattern learning
发现论文，激发创造
  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 层次化解耦空间 - 时间对比用于自监督视频表征学习

    提出一种新的自监督视频表示学习技术，通过将学习目标分解为两个对比子任务并分层进行，强调空间和时间特征，从而鼓励多尺度理解。通过实验表明，可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义，并提出一种方式，使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。

    Nov, 2020

  • 多级特征学习的对比多视角聚类

    本文提出了一种多层特征学习的对比多视角聚类框架，以在不同的特征空间中有效实现重构目标和一致性目标，包括低级特征、高级特征和语义标签 / 特征，从而在多个视角上探索共同的语义。

    Jun, 2021

  • 不再取巧：实现时间自监督的潜力

    我们提出了更具挑战性的帧级自我监督任务和有效的增强策略，通过增加 Transformer 模型来训练从对比学习中预训练的单帧视频表示，大幅提升了通过时间自我监督学习到的特征的质量，并且在高水平语义任务和低水平时序任务上表现出卓越的性能。

    Dec, 2023

  • 视频对应的时空自监督学习

    本文提出了一种空间 - 时间自我监督学习方法，通过对无标注图像的对比学习来提取空间特征，并通过重构学习利用无标注视频中的时间线索增强特征，以在视频分析任务上取得比现有自我监督方法更好的表现，并进行了削减研究以验证两步设计以及蒸馏损失的有效性。

    Sep, 2022

  • 深度视频表示学习综述

    该论文提供了对视频表示学习的综述，对于顺序视觉数据的时空特征学习方法进行分类，并比较它们在视频分析中的优缺点。

    May, 2024

  • 电影理解的分层自监督表征学习

    本文介绍了一种面向电影理解的自监督视频学习方法，采用分层的预训练策略，在低层进行对比学习，高层则采用事件遮罩预测任务来预训练视频上下文模型，并在 VidSitu 基准测试中表现出更好的性能。同时，在 LVU 任务中，我们还展示了上下文化事件特征的有效性。

    Apr, 2022

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 通过预测时间特征相似性实现面向实际世界视频的对象中心学习

    本文提出了一种基于无监督学习、自主学习特征的物体中心学习方法，以及如何使用时间特征相似性损失来发现运动目标，并在视频数据集上取得了最先进的表现。

    Jun, 2023

  • 使用学习的分层特征进行视频跟踪

    该论文提出了一种基于层次特征学习的视觉目标跟踪方法，通过使用两层卷积神经网络实现对多样化运动模式的特征离线学习，并通过域自适应模块实现对具体目标的个性化在线特征调整，提高了在复杂运动转换和外观变化情况下的视觉目标跟踪性能。

    Nov, 2015