无监督光流中的关键因素
本文研究了卷积神经网络在无监督学习下学习光流预测的能力;提出了一种新的模型来显式模拟遮挡问题,并使用新颖的变换方式来更好地学习大运动;在 Flying Chairs,MPI-Sintel 和 KITTI 标准数据集上进行了测试,结果表明在 KITTI 数据集上无监督方法的效果优于有监督方法,尤其在该数据集上,我们的方法表现出色。
Nov, 2017
无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力,本研究提出了一种新的损失函数,利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化,实现了无标注语义分割的优于现有技术的性能。
Jul, 2023
本研究提出一种利用基于能量的方法进行光流估计的无监督学习方法以替代对真实场景难以获得的像素精确度地面实况数据的依赖,此方法在 KITTI 基准测试中的表现优于以往的无监督深度网络,甚至比仅在合成数据集上进行训练的类似监督方法更准确,在 KITTI 2012 和 2015 基准测试中具有竞争优势。
Nov, 2017
本文提出了一种无监督的方法,使用组合数据项和空间项的损失函数训练 convnets 来预测两幅图像之间的光流,并在 KITTI 数据集上的实验证明了该方法的有效性。
Aug, 2016
本文提出了一种使用变换提供的可靠监督信息的框架,通过使用数据增强技术来运行另一个向前传递的过程,并使用原始数据的转换后的预测结果作为自我监督信号,从而得到了多帧轻量级网络的最佳精度。
Mar, 2020
通过我们的方法,在低质量光流的困境下,从光流直接提取边界、选择性地丢弃质量较差的帧,并使用可变帧率的微调过程,我们在 EndoVis2017 VOS 数据集和 Endovis2017 Challenge 数据集上展现了有希望的结果,分别达到了 0.75 和 0.72 的平均交并比。我们的研究结果表明,我们的方法可以大大减少临床环境中手动标注的需求,并可能促进新数据集的注释过程。
Mar, 2024
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023
本研究提出了一种自监督学习的方法,通过利用非遮挡像素估计可靠的光流,用于学习虚假的遮挡。同时,通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能,并且该自监督预训练模型为监督微调提供了极好的初始化,其微调后的模型在三个数据集上均取得了最先进的结果。
Apr, 2019
我们提出了一种利用最新的基础模型 Segment Anything Model(SAM)的非监督流网络 UnSAMFlow,通过加入适应 SAM 蒙版的自监督语义增强模块、基于单应性的新平滑度定义以及简单而有效的蒙版特征模块,能够在对象周围生成清晰的光流估计,优于 KITTI 和 Sintel 数据集上的最先进方法,并且在跨领域上具有很好的泛化能力且运行效率高。
May, 2024
采用动态光流来监督静态图像的表示,通过学习嵌入像素以达到其光流向量之间的相似性,我们设计了一种无需手工标注的学习卷积神经图像表示的新方法,这个新方法优于以往的运用动态光流学习卷积神经网络的方法,并在语义分割等领域首屈一指。
Jul, 2018