Aug, 2023

细节中的魔鬼：简单高效的光流合成数据生成

PDF
TL;DR最近对于密集光流的研究取得了显著进展，主要以需要大量标记数据的监督学习方式为基础。然而，由于获取大规模真实世界数据的昂贵性，通常会利用计算机图形来构建数据集。本文展示了在光流数据集中所需的特征是相当简单的，并提出了一种更简单的合成数据生成方法，通过基本操作的组合实现了一定水平的真实感。通过对 2D 运动数据集的系统分析，我们进一步介绍了生成合成数据集最简单但至关重要的因素。此外，我们提出了一种新的方法，在监督学习中利用遮挡掩模，并观察到抑制遮挡区域梯度在课程学习意义上作为强大的初始状态。在我们的数据集上进行了 RAF 网络的初始训练，结果在 MPI Sintel 和 KITTI 2015 这两个最具挑战性的在线基准测试中超过了原始的 RAF 网络。
dense optical flowsupervised learningsynthetic data generationocclusion masksraft network
发现论文，激发创造
  • 从静止图像中学习光流

    本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架，该框架利用单目深度估计网络构建可能的点云，通过虚拟相机运动合成新视角和对应的光流场，实现对现有数据的有效利用，并提高了视觉光流网络在真实场景中的泛化和特化性能。

    Apr, 2021

  • 学习视差和光流估计的优良合成训练数据的要素是什么？

    这篇论文提出了使用合成数据来训练深度网络来解决计算机视觉问题的方法，并评估数据集的性质对性能和泛化能力的影响，同时证明了在训练过程的不同阶段使用不同类型的数据的学习进度的好处。

    Jan, 2018

  • AutoFlow: 学习更好的训练集，用于光流预测

    AutoFlow 是一个简单而有效的方法，通过可学习超参数控制每一层的运动、形状和外观，优化模型在目标数据集上的表现，可以渲染用于光流训练的合成数据，并在 PWC-Net 和 RAFT 的预训练中达到最先进的精度。

    Apr, 2021

  • ADFactory：光流任务的自动化数据工厂

    通过使用先进的 Nerf 技术，我们提出了一种新的光流训练框架，可以在目标数据领域上高效地训练光流网络，而无需手动标注。实验结果表明，我们的方案在 KITTI 上的泛化能力超过了现有的自监督光流和单目场景流算法，并且在真实世界的零点泛化评估中始终超过大多数有监督方法。

    Nov, 2023

  • RealFlow: 基于 EM 的现实光流数据集从视频生成

    本研究提出了一种基于 EM 算法的 RealFlow 框架，该框架可直接从未标记的实际视频中创建大规模的光流数据集，采用了 Realistic Image Pair Rendering（RIPR）模块来减轻图像合成的伪影，并利用生成的训练数据进行无监督学习以实现光流估计。实验结果表明，RealFlow 在数据集生成方面表现优异，在两个标准基准测试中相对于监督和无监督光流方法均获得了 state-of-the-art 的性能。

    Jul, 2022

  • 多次利用不同深度数据集驱动光流学习

    通过利用光流估计与立体匹配之间的几何连接，我们提出了一种将各种现实世界深度估计数据集转化为生成光流的监督训练数据的方法，同时引入几何增强和辅助分类器进一步增强光流估计器的学习，该方法在多个数据集和光流估计模型上的广泛实验验证了其有效性和优越性。

    Oct, 2023

  • 半监督学习在浓雾场景下的光流估计

    本文提出了一种半监督深度学习方法，并使用真实的雾霾图像进行训练，使用了新的训练策略组合监督合成数据训练和非监督实际数据训练，在稠密的雾霾场景下，优化了光流估计，有着优越性能表现。

    Apr, 2020

  • MPI-Flow：学习多平面图像的真实光流

    通过生成高度逼真的实际光流数据集，利用多平面图像构造新图像和准确对应的光流地图，以及独立的物体运动模块和深度感知修复模块，该研究论文在光流估计中取得了最先进的性能。

    Sep, 2023

  • 用于视觉人群分析的光流数据集和基准

    介绍了一种新的光流数据集，用于解决人群行为分析领域中光流性能测试数据不足的问题，并提供了实验结果表明现有的光流算法不能有效地适应这种人群的运动及复杂性，该数据集在实际应用中表现出较高的性能。

    Nov, 2018

  • 用于训练卷积神经网络进行视差、光流和场景流估计的大型数据集

    本论文提出了使用卷积网络对视差和场景流进行光流估计的方法，并成功构建了三个合成的立体视频数据集，通过对现有网络进行联合培训，实现了首个卷积网络进行场景流估计。

    Dec, 2015