Apr, 2023

SSTM：用于多帧光流估计的时空循环变压器

PDF
TL;DR本研究提出了基于学习的多帧光流估计方法，使用 3D Convolutional Gated Recurrent Units 和 spatiotemporal transformers 对长序列的场景动态进行建模，在遮挡的区域中获得较高的光流准确度。
optical flow estimationmulti-frame image sequences3d convolutional gated recurrent unitsspatiotemporal recurrent transformersoccluded regions
发现论文，激发创造
  • StreamFlow: 视频序列的简化多帧光流估计

    针对光流估计中的连续帧遮挡问题，我们提出了一个简化的批处理多帧（SIM）流程，包括高效的时空建模方法和全局时间回归器（GTR），可在解码过程中有效地探索时间关系。相对于以前的多帧方法，该方法不仅在 KITTI 和 Sintel 数据集上的性能表现出色，尤其是在遮挡区域方面有显著改进，而且在速度方面取得了显著的 63.82% 提升。

    Nov, 2023

  • STaRFlow：一种轻量级多帧光流估计的时空循环单元

    我们提出了一种新的基于 CNN 的算法来对多帧光流进行估计。算法引入了一个名为 STaR 的细胞，通过对空间尺度和时间进行双重递归，包括了一种基于传递学习特征而非光流估计的时间递归和一个与光流估计耦合的遮挡检测过程，这使用了极少的额外参数。这些结果表明，STaRFlow 算法在 MPI Sintel 和 Kitti2015 上具有最先进的性能，并且涉及的参数显著比所有其他具有可比结果的方法都要少。

    Jul, 2020

  • 多帧光流估计的融合方法

    本文提出了一种简单而有效的多帧光流估计的融合方法，该方法利用了长期的时间线索，首先将前几帧的光流投影到当前帧，然后将这些光流之间携带的互补信息融合为一个新的光流场，并在 MPI Sintel 和 KITTI 2015 基准测试中排名第一。

    Oct, 2018

  • 持续遮挡和光流估计

    该论文提出了 ContinualFlow 算法来解决光流估计中遮挡估计和处理以及超过两帧图像序列的估计问题，提高了 KITTI 和 Sintel 的性能。该方法利用前一帧图像的光流信息来估计遮挡，并在无对应区域中作为经验先验，能够不断进行优化。

    Nov, 2018

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 学习使用全局运动聚合来估计隐藏的运动

    该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

    Apr, 2021

  • 自监督多帧单眼场景流

    本文通过自监督学习介绍了一种基于多帧单目场景流网络的方法，该方法在保持实时效率的同时显著提高了准确性，并通过在 KITTI 数据集上进行测试达到了自我监督学习中的最新水平。

    May, 2021

  • SplatFlow: 通过分割学习多帧光流

    本文中，我们提出了一种称为 SplatFlow 的 multi-frame optical flow 估计（mOFE）框架，可以通过引入可微变换方法来处理遮挡问题，并在 KITTI2015 和 Sintel 基准评估中得到显著的改进。

    Jun, 2023

  • 一种深度时空融合框架，用于场景流的可学习运动模型和遮挡

    该论文提出了一种基于数据驱动的多帧场景流估计方法，通过神经网络以及双向场景流估计和遮挡掩模生成实现了对运动估计中遮挡问题的有效解决，提供了一种快速有效的计算机视觉方法。

    Nov, 2020

  • 基于流场的静态图像空时视频预测

    本研究探讨基于单张静态图片生成连续多个未来视频帧的问题，提出了基于多流模型预测和合成的方法。通过 3D 卷积学习了空间 - 时间关系，预测的结果更加接近真实视频的流形形态，相比现有方法性能更好、多样性更强且能获得更高的人类视觉评估。

    Jul, 2018