从静止图像中学习光流
最近对于密集光流的研究取得了显著进展,主要以需要大量标记数据的监督学习方式为基础。然而,由于获取大规模真实世界数据的昂贵性,通常会利用计算机图形来构建数据集。本文展示了在光流数据集中所需的特征是相当简单的,并提出了一种更简单的合成数据生成方法,通过基本操作的组合实现了一定水平的真实感。通过对 2D 运动数据集的系统分析,我们进一步介绍了生成合成数据集最简单但至关重要的因素。此外,我们提出了一种新的方法,在监督学习中利用遮挡掩模,并观察到抑制遮挡区域梯度在课程学习意义上作为强大的初始状态。在我们的数据集上进行了 RAF 网络的初始训练,结果在 MPI Sintel 和 KITTI 2015 这两个最具挑战性的在线基准测试中超过了原始的 RAF 网络。
Aug, 2023
这篇论文提出了使用合成数据来训练深度网络来解决计算机视觉问题的方法,并评估数据集的性质对性能和泛化能力的影响,同时证明了在训练过程的不同阶段使用不同类型的数据的学习进度的好处。
Jan, 2018
本论文提出了使用卷积网络对视差和场景流进行光流估计的方法,并成功构建了三个合成的立体视频数据集,通过对现有网络进行联合培训,实现了首个卷积网络进行场景流估计。
Dec, 2015
本文提出了一种半监督深度学习方法,并使用真实的雾霾图像进行训练,使用了新的训练策略组合监督合成数据训练和非监督实际数据训练,在稠密的雾霾场景下,优化了光流估计,有着优越性能表现。
Apr, 2020
通过使用先进的 Nerf 技术,我们提出了一种新的光流训练框架,可以在目标数据领域上高效地训练光流网络,而无需手动标注。实验结果表明,我们的方案在 KITTI 上的泛化能力超过了现有的自监督光流和单目场景流算法,并且在真实世界的零点泛化评估中始终超过大多数有监督方法。
Nov, 2023
本文研究使用代理真实数据进行卷积神经网络的无监督学习,以估计光流。通过使用经典方法生成的代理真实数据来指导 CNN 学习,我们的指导式学习方法在三个标准基准数据集上表现优异,但完全无监督且可以在实时运行。
Feb, 2017
本研究介绍了如何使用合成数据集来增强预训练的卷积神经网络,从而提高其在实际领域中的性能,尤其在光流估计领域取得了最先进的成果。
Aug, 2018
通过利用光流估计与立体匹配之间的几何连接,我们提出了一种将各种现实世界深度估计数据集转化为生成光流的监督训练数据的方法,同时引入几何增强和辅助分类器进一步增强光流估计器的学习,该方法在多个数据集和光流估计模型上的广泛实验验证了其有效性和优越性。
Oct, 2023
本文介绍了一种特定用于人物运动的光流算法,通过构建图像序列的数据库并使用卷积神经网络的方法进行人物运动光流估计,得到了比其他方式更为准确的结果,这一方法可应用于人物运动分析等领域。
Jun, 2018