Jun, 2023

HomE: 同态变换等变视频表示学习

PDF
TL;DR本研究提出了一种新方法，使用自我监督的表示学习来学习多视角视频的表示空间，其中通过显式建立具有 Homography Equivariance（HomE）的表示空间，来更好的利用自我监督的信息，并在 UCF101 数据集上取得了 96.4％的准确率以及在 STIP 数据集上超越现有方法的 6％准确率以及 91.2％的分类准确率。
发现论文，激发创造
  • 时间等变对比视频表示学习

    介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

    Dec, 2021

  • 用感知损失实现鲁棒的无监督单应矩阵估计

    本研究尝试通过使用双向隐式 Homography 估计（biHomE）损失，并在合成的 COCO 数据集上进行测试，证明该方法在光照变化方面的鲁棒性相对于现有方法更强，并且可以实现无监督学习的 Homography 估计。

    Apr, 2021

  • 学习知识丰富的序列模型，用于航拍视频中平面单应性估计

    该论文提出了一种无监督方法，利用原始航拍视频学习估计相邻视频帧之间的平面同形变换，通过加入时空知识进行学习的正则化，进一步提高了系统性能。

    Apr, 2023

  • 无监督学习视角不变动作表示

    提出一种无监督学习框架，利用未标记的数据来学习视频表示，通过学习推断不同视图的三维运动，捕捉视角不变的动作特征，以及增强视角不变特征的学习方法，并在多个数据集上证明该方法对动作识别的有效性。

    Sep, 2018

  • 多视角伪标记用于视频半监督学习

    我们提出了一种多视角伪标记方法来进行视频学习，它利用外观和运动信息的互补视角进行半监督学习，以获取更可靠的伪标签并比纯监督数据学习更强的视频表示。我们的方法在多个视频识别数据集上大大优于其监督对应方法，并在自监督视频表示学习的标准基准测试中与先前的工作相比具有竞争优势，同时仍然训练一个共享外观和运动输入的模型，因此在推理时间不会产生额外的计算开销。

    Apr, 2021

  • 基于流等变性的自监督表征学习

    在视频流的场景中，通过流变换目标使神经网络预测另一个帧的特征，实现了一种新的自我监督学习表示框架，学习到的高分辨率原始视频表示可用于静态图片的下游任务，例如语义分割、实例分割和目标检测，超越了 SimCLR 和 BYOL 等先前最先进算法得到的表示。

    Jan, 2021

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 自监督学习视频诱导视觉不变性

    通过使用 Video-Induced Visual Invariances (VIVI) 的自监督学习框架，本文提出了一种可以在 19 种视觉任务中实现超过最佳监督模型的自监督转移学习方法。

    Dec, 2019

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 对比遮蔽自编码器用于自监督视频哈希

    本研究提出了名为 ConMH 的一阶段自监督视频哈希方法，该方法通过采用编码器 - 解码器结构重构视频以捕获视频语义信息，并通过最大化两个视频增强视图之间的协议以充分利用视频之间 的相似性关系。实验结果表明 ConMH 方法在大规模视频数据集上表现出色，是当前最佳方法之一。

    Nov, 2022