CVPRNov, 2017

具备遮挡感知的光流无监督学习

PDF
TL;DR本文研究了卷积神经网络在无监督学习下学习光流预测的能力；提出了一种新的模型来显式模拟遮挡问题，并使用新颖的变换方式来更好地学习大运动；在 Flying Chairs，MPI-Sintel 和 KITTI 标准数据集上进行了测试，结果表明在 KITTI 数据集上无监督方法的效果优于有监督方法，尤其在该数据集上，我们的方法表现出色。
convolutional neural networkoptical flow estimationunsupervised learningocclusionlarge motion
发现论文，激发创造
  • UnFlow: 双向 Census 损失的光流无监督学习

    本研究提出一种利用基于能量的方法进行光流估计的无监督学习方法以替代对真实场景难以获得的像素精确度地面实况数据的依赖，此方法在 KITTI 基准测试中的表现优于以往的无监督深度网络，甚至比仅在合成数据集上进行训练的类似监督方法更准确，在 KITTI 2012 和 2015 基准测试中具有竞争优势。

    Nov, 2017

  • 引导式光流学习

    本文研究使用代理真实数据进行卷积神经网络的无监督学习，以估计光流。通过使用经典方法生成的代理真实数据来指导 CNN 学习，我们的指导式学习方法在三个标准基准数据集上表现优异，但完全无监督且可以在实时运行。

    Feb, 2017

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 无监督光流中的关键因素

    本研究通过分析光流的关键组件如光度损失、遮挡处理和光流平滑正则化，提出了多种类似代价体积规范化、在遮挡掩模处停止梯度、在上采样光流场之前鼓励平滑等方法的优化，结合改进后的组件提出了一种新型的无监督光流技术，该技术不仅在 KITTI 2015 数据集上表现出色，而且比现有方法更为简单。

    Jun, 2020

  • SelFlow: 光流的自监督学习

    本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。

    Apr, 2019

  • 光流提升无监督定位和分割

    无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。

    Jul, 2023

  • 基于遮挡引导的自监督三维点云场景流量估计

    本文提出了一种新的自监督训练方法和架构，实现了三维场景流估计，优于传统的结构，包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。

    Apr, 2021

  • 自我监督学习的跨像素光流相似度

    采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

    Jul, 2018

  • 使用卷积网络学习光流

    本文提出卷积神经网络模型，将光流估计问题作为监督式学习任务，通过生成合成数据集进行训练，成功实现在计算机视觉领域特别是识别任务中广泛应用的卷积神经网络模型在光流估计任务上的成功率。

    Apr, 2015

  • 类比学习：基于变换的可靠监督用于无监督光流估计

    本文提出了一种使用变换提供的可靠监督信息的框架，通过使用数据增强技术来运行另一个向前传递的过程，并使用原始数据的转换后的预测结果作为自我监督信号，从而得到了多帧轻量级网络的最佳精度。

    Mar, 2020