ADFactory:光流任务的自动化数据工厂
AutoFlow 是一个简单而有效的方法,通过可学习超参数控制每一层的运动、形状和外观,优化模型在目标数据集上的表现,可以渲染用于光流训练的合成数据,并在 PWC-Net 和 RAFT 的预训练中达到最先进的精度。
Apr, 2021
本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架,该框架利用单目深度估计网络构建可能的点云,通过虚拟相机运动合成新视角和对应的光流场,实现对现有数据的有效利用,并提高了视觉光流网络在真实场景中的泛化和特化性能。
Apr, 2021
最近对于密集光流的研究取得了显著进展,主要以需要大量标记数据的监督学习方式为基础。然而,由于获取大规模真实世界数据的昂贵性,通常会利用计算机图形来构建数据集。本文展示了在光流数据集中所需的特征是相当简单的,并提出了一种更简单的合成数据生成方法,通过基本操作的组合实现了一定水平的真实感。通过对 2D 运动数据集的系统分析,我们进一步介绍了生成合成数据集最简单但至关重要的因素。此外,我们提出了一种新的方法,在监督学习中利用遮挡掩模,并观察到抑制遮挡区域梯度在课程学习意义上作为强大的初始状态。在我们的数据集上进行了 RAF 网络的初始训练,结果在 MPI Sintel 和 KITTI 2015 这两个最具挑战性的在线基准测试中超过了原始的 RAF 网络。
Aug, 2023
该研究引入 FlowDA,一个用于光流估计的无监督域自适应框架,结合了无监督光流估计的概念和技术,提出了基于课程学习的自适应课程权重模块,实验证明 FlowDA 在真实场景下优于现有方法,为光流估计性能的提升提供了新的见解。
Dec, 2023
本研究提出了一种基于 EM 算法的 RealFlow 框架,该框架可直接从未标记的实际视频中创建大规模的光流数据集,采用了 Realistic Image Pair Rendering(RIPR)模块来减轻图像合成的伪影,并利用生成的训练数据进行无监督学习以实现光流估计。实验结果表明,RealFlow 在数据集生成方面表现优异,在两个标准基准测试中相对于监督和无监督光流方法均获得了 state-of-the-art 的性能。
Jul, 2022
这篇论文提出了使用合成数据来训练深度网络来解决计算机视觉问题的方法,并评估数据集的性质对性能和泛化能力的影响,同时证明了在训练过程的不同阶段使用不同类型的数据的学习进度的好处。
Jan, 2018
本文提出了一种新的方法,从自动驾驶车辆的稀疏激光雷达数据中估计密集的光流,用作图像不可靠的情况下,如恶劣天气或夜间,替代任何基于图像的光流系统的替代方案。该方法使用多尺度滤波器的三级结构来推断离散范围数据的高分辨率 2D 流,并在 lidar 和图像域中结合多个中间目标。通过使用 FlowNet2 计算的假伪基于图像的光流,我们介绍了一个包含约 20K lidar 样本的 Kitti 数据集,并使用该数据集训练网络。我们在 Kitti 数据集上演示了我们方法的有效性,并表明尽管使用低分辨率和稀疏的 lidar 测量,我们可以回归与基于图像的方法相当的密集光流图。
Aug, 2018
本论文提出了使用卷积网络对视差和场景流进行光流估计的方法,并成功构建了三个合成的立体视频数据集,通过对现有网络进行联合培训,实现了首个卷积网络进行场景流估计。
Dec, 2015
本研究介绍了如何使用合成数据集来增强预训练的卷积神经网络,从而提高其在实际领域中的性能,尤其在光流估计领域取得了最先进的成果。
Aug, 2018
本研究使用自监督学习辅助提高 CNN-based 光流估计在实际情境中的性能,在合成和真实场景下混合训练神经网络并采用样本多变量多任务结构,以预测 next-flow 代替当前光流估计,并取得了较好的性能,实验结果表明总体改善了在实际 KITTl 基准测试中的光流估计。
Dec, 2016