ECCVJul, 2022

RealFlow: 基于 EM 的现实光流数据集从视频生成

PDF
TL;DR本研究提出了一种基于 EM 算法的 RealFlow 框架，该框架可直接从未标记的实际视频中创建大规模的光流数据集，采用了 Realistic Image Pair Rendering（RIPR）模块来减轻图像合成的伪影，并利用生成的训练数据进行无监督学习以实现光流估计。实验结果表明，RealFlow 在数据集生成方面表现优异，在两个标准基准测试中相对于监督和无监督光流方法均获得了 state-of-the-art 的性能。
realflowoptical flowlarge-scale datasetvideo annotationunsupervised learning
发现论文，激发创造
  • 从静止图像中学习光流

    本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架，该框架利用单目深度估计网络构建可能的点云，通过虚拟相机运动合成新视角和对应的光流场，实现对现有数据的有效利用，并提高了视觉光流网络在真实场景中的泛化和特化性能。

    Apr, 2021

  • MPI-Flow：学习多平面图像的真实光流

    通过生成高度逼真的实际光流数据集，利用多平面图像构造新图像和准确对应的光流地图，以及独立的物体运动模块和深度感知修复模块，该研究论文在光流估计中取得了最先进的性能。

    Sep, 2023

  • 细节中的魔鬼：简单高效的光流合成数据生成

    最近对于密集光流的研究取得了显著进展，主要以需要大量标记数据的监督学习方式为基础。然而，由于获取大规模真实世界数据的昂贵性，通常会利用计算机图形来构建数据集。本文展示了在光流数据集中所需的特征是相当简单的，并提出了一种更简单的合成数据生成方法，通过基本操作的组合实现了一定水平的真实感。通过对 2D 运动数据集的系统分析，我们进一步介绍了生成合成数据集最简单但至关重要的因素。此外，我们提出了一种新的方法，在监督学习中利用遮挡掩模，并观察到抑制遮挡区域梯度在课程学习意义上作为强大的初始状态。在我们的数据集上进行了 RAF 网络的初始训练，结果在 MPI Sintel 和 KITTI 2015 这两个最具挑战性的在线基准测试中超过了原始的 RAF 网络。

    Aug, 2023

  • AutoFlow: 学习更好的训练集，用于光流预测

    AutoFlow 是一个简单而有效的方法，通过可学习超参数控制每一层的运动、形状和外观，优化模型在目标数据集上的表现，可以渲染用于光流训练的合成数据，并在 PWC-Net 和 RAFT 的预训练中达到最先进的精度。

    Apr, 2021

  • ADFactory：光流任务的自动化数据工厂

    通过使用先进的 Nerf 技术，我们提出了一种新的光流训练框架，可以在目标数据领域上高效地训练光流网络，而无需手动标注。实验结果表明，我们的方案在 KITTI 上的泛化能力超过了现有的自监督光流和单目场景流算法，并且在真实世界的零点泛化评估中始终超过大多数有监督方法。

    Nov, 2023

  • OmniFlow：人类全方向光流

    本文介绍了 OmniFlow，这是一个新的合成全向人类光流数据集，通过渲染引擎创建自然的 3D 室内环境，用于训练光流估计的体积对应网络。

    Apr, 2021

  • 用于视觉人群分析的光流数据集和基准

    介绍了一种新的光流数据集，用于解决人群行为分析领域中光流性能测试数据不足的问题，并提供了实验结果表明现有的光流算法不能有效地适应这种人群的运动及复杂性，该数据集在实际应用中表现出较高的性能。

    Nov, 2018

  • MemFlow: 光流估计与记忆预测

    MemFlow 是一种实时的光流估计和预测方法，通过使用内存中的历史运动信息实现光流的估计和预测，并通过适应不同视频分辨率来提高性能。

    Apr, 2024

  • 使用光流估计合成逼真的场景文本视频

    本文介绍了一种名为 FlowText 的视频文字合成技术，通过利用光流估计，在低成本的情况下合成大量的文本视频数据，用于训练强健的视频文字定位器。实验证明，将 TransDETR 等通用检测器与 FlowText 结合使用，可以在 ICDAR2015video 和 ICDAR2013video 等不同数据集上获得显著的结果。

    May, 2023

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

    Aug, 2021