引导式光流学习
本文提出了一种无监督的方法,使用组合数据项和空间项的损失函数训练convnets来预测两幅图像之间的光流,并在KITTI数据集上的实验证明了该方法的有效性。
Aug, 2016
本文研究了卷积神经网络在无监督学习下学习光流预测的能力;提出了一种新的模型来显式模拟遮挡问题,并使用新颖的变换方式来更好地学习大运动;在Flying Chairs,MPI-Sintel和KITTI标准数据集上进行了测试,结果表明在KITTI数据集上无监督方法的效果优于有监督方法,尤其在该数据集上,我们的方法表现出色。
Nov, 2017
本研究提出一种利用基于能量的方法进行光流估计的无监督学习方法以替代对真实场景难以获得的像素精确度地面实况数据的依赖,此方法在KITTI基准测试中的表现优于以往的无监督深度网络,甚至比仅在合成数据集上进行训练的类似监督方法更准确,在KITTI 2012和2015基准测试中具有竞争优势。
Nov, 2017
本研究介绍了如何使用合成数据集来增强预训练的卷积神经网络,从而提高其在实际领域中的性能,尤其在光流估计领域取得了最先进的成果。
Aug, 2018
通过简单和成熟的原则,包括金字塔处理,扭曲和成本体积处理,我们设计了一种紧凑但有效的CNN模型PWC-Net进行光流估计,并通过相同的训练过程对FlowNetC进行重新训练,提高了56%的准确性,并进一步改进了训练过程,将PWC-Net在Sintel上的准确性提高了10%,在KITTI 2012和2015上提高了20%,该模型在Robust Vision Challenge的光流比赛中获胜。
Sep, 2018
DDFlow是一种基于数据净化的方法,可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流,并能够为被遮挡像素进行光流估计,从而实现了更高的准确性。在Flying Chairs、MPI Sintel、KITTI 2012和2015基准测试中,DDFlow的性能显著优于所有现有的无监督学习方法,同时实现了实时运行。
Feb, 2019
本文提出了一种使用变换提供的可靠监督信息的框架,通过使用数据增强技术来运行另一个向前传递的过程,并使用原始数据的转换后的预测结果作为自我监督信号,从而得到了多帧轻量级网络的最佳精度。
Mar, 2020
本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架,该框架利用单目深度估计网络构建可能的点云,通过虚拟相机运动合成新视角和对应的光流场,实现对现有数据的有效利用,并提高了视觉光流网络在真实场景中的泛化和特化性能。
Apr, 2021
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023
我们提出了一种利用最新的基础模型Segment Anything Model(SAM)的非监督流网络UnSAMFlow,通过加入适应SAM蒙版的自监督语义增强模块、基于单应性的新平滑度定义以及简单而有效的蒙版特征模块,能够在对象周围生成清晰的光流估计,优于KITTI和Sintel数据集上的最先进方法,并且在跨领域上具有很好的泛化能力且运行效率高。
May, 2024