Jun, 2023

SplatFlow: 通过分割学习多帧光流

PDF
TL;DR本文中，我们提出了一种称为 SplatFlow 的 multi-frame optical flow 估计（mOFE）框架，可以通过引入可微变换方法来处理遮挡问题，并在 KITTI2015 和 Sintel 基准评估中得到显著的改进。
optical flow estimationocclusionmulti-frame settingssplatting transformationkitti2015
发现论文，激发创造
  • 高效视频帧插帧的多对多点渲染技术

    本文提出了一种完全可微的 Many-to-Many（M2M）喷涂框架来高效地进行视频帧插值，该框架对于克服 motion based 视频帧插值的诸如遮挡和不连续性等挑战具有良好的稳健性和高效性，其每个源像素可以呈现多个目标像素，每个目标像素可以从更大的视觉上下文区域综合生成。

    Apr, 2022

  • StreamFlow: 视频序列的简化多帧光流估计

    针对光流估计中的连续帧遮挡问题，我们提出了一个简化的批处理多帧（SIM）流程，包括高效的时空建模方法和全局时间回归器（GTR），可在解码过程中有效地探索时间关系。相对于以前的多帧方法，该方法不仅在 KITTI 和 Sintel 数据集上的性能表现出色，尤其是在遮挡区域方面有显著改进，而且在速度方面取得了显著的 63.82% 提升。

    Nov, 2023

  • 视频帧插值的 Softmax Splatting 技术

    该论文提出了一种称为 softmax splatting 的方法，用于在前向映射过程中实现像素到目标位置的可微分映射，以及其在视频帧插值中的应用。

    Mar, 2020

  • 使用超级核函数学习光流

    本文提出了基于 CNN 的 Super Kernel Flow Network (SKFlow) 算法估计局部模糊区域中的光流，通过超级核心理论解决匹配信息缺失的问题，在 Sintel 基准测试中表现优秀。

    May, 2022

  • 多帧光流估计的融合方法

    本文提出了一种简单而有效的多帧光流估计的融合方法，该方法利用了长期的时间线索，首先将前几帧的光流投影到当前帧，然后将这些光流之间携带的互补信息融合为一个新的光流场，并在 MPI Sintel 和 KITTI 2015 基准测试中排名第一。

    Oct, 2018

  • SSTM：用于多帧光流估计的时空循环变压器

    本研究提出了基于学习的多帧光流估计方法，使用 3D Convolutional Gated Recurrent Units 和 spatiotemporal transformers 对长序列的场景动态进行建模，在遮挡的区域中获得较高的光流准确度。

    Apr, 2023

  • SelFlow: 光流的自监督学习

    本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。

    Apr, 2019

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 基于动态时间表示的无监督尖峰相机光流估计

    本文提出了动态时间表示的脉冲流方法，能够有效地选择适当的脉冲流数据长度来提取精确信息，并通过多层卷积来提取多时间尺度特征，从而应用于光流估计等脉冲视觉任务。同时，文中介绍了一种无监督学习方法进行光流估计，并构建了一个脉冲流驱动的合成数据集进行验证。实验表明，该方法可以在不同高速场景下从脉冲流中预测光流，并且相较于先前方法可以获得较高的准确性。

    Jul, 2023

  • 自监督多帧单眼场景流

    本文通过自监督学习介绍了一种基于多帧单目场景流网络的方法，该方法在保持实时效率的同时显著提高了准确性，并通过在 KITTI 数据集上进行测试达到了自我监督学习中的最新水平。

    May, 2021