ICCVJan, 2021

基于流等变性的自监督表征学习

PDF
TL;DR在视频流的场景中，通过流变换目标使神经网络预测另一个帧的特征，实现了一种新的自我监督学习表示框架，学习到的高分辨率原始视频表示可用于静态图片的下游任务，例如语义分割、实例分割和目标检测，超越了 SimCLR 和 BYOL 等先前最先进算法得到的表示。
self-supervised learningrepresentation learningvideo streamscomplex scenesobject detection
发现论文，激发创造
  • 自监督学习的视频对应流

    本文提出了一种适用于匹配视频中对应点的特征嵌入的自监督学习方法，其中使用自然的时空一致性训练指针模型，并通过引入信息瓶颈和循环模型等方式来解决跟踪器漂移等挑战，最终取得了在视频分割和关键点跟踪上的最佳效果。

    May, 2019

  • 跟随视觉流动：自监督场景光流估计

    本文介绍了一种使用自我监督的技术，基于最近邻和循环一致性，来训练场景流模型，从而解决在自动驾驶过程中对高动态环境的非刚性物体移动的计算问题，并且其性能优于当前标注了实际场景流数据的最新的有监督学习方法.

    Dec, 2019

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017

  • LiDAR 目标检测的等变时空自监督

    基于空间和时间增强的等变学习框架，通过鼓励平移、缩放、翻转、旋转和场景流的等变性，提高了三维物体检测的性能。

    Apr, 2024

  • 非刚性残余流和自我运动的自监督学习

    提出了一种端到端场景流学习的替代方法，通过联合估计非刚性残留流和动态 3D 场景的自运动流来学习场景流，引入了自监督信号以增强模型训练，能够将场景流分解为非刚性流和自运动流并且在当前最先进的监督方法上取得了更好的表现。

    Sep, 2020

  • 时间等变对比视频表示学习

    介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

    Dec, 2021

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 条件运动传递的自监督学习

    本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

    Mar, 2019

  • 自监督单目场景流估计

    本文提出的单目场景流（Scene Flow）估计方法基于一个卷积神经网络（CNN），通过充分考虑光流代价体积，成功估算出深度和三维运动。我们采用了自监督学习方法，利用三维损失函数和遮挡推理来提高估计精度。实验结果表明，该方法在单目场景流估计领域取得了最佳性能，同时在光流和单目深度估计子任务上也获得了很好的结果。

    Apr, 2020

  • 类比学习：基于变换的可靠监督用于无监督光流估计

    本文提出了一种使用变换提供的可靠监督信息的框架，通过使用数据增强技术来运行另一个向前传递的过程，并使用原始数据的转换后的预测结果作为自我监督信号，从而得到了多帧轻量级网络的最佳精度。

    Mar, 2020