Jan, 2024

YOIO: 光流估计中仅迭代一次的方法，通过挖掘和融合多个必要的全局信息

PDF
TL;DR通过充分利用帧对提供的时空信息，设计回路判断算法以确保获得正确的全局参考信息，并从中挖掘多种必要的全局信息，再设计一个高效的细化模块来融合这些全局信息，提出了一种名为 YOIO 的框架，可以在只进行一次迭代的情况下显著提升遮挡区域的光流估计性能，而对非遮挡区域的性能没有损害。与 GMA 相比，该方法在遮挡区域的光流预测精度提高了 10% 以上，occ_out 区域超过 15%，计算时间缩短了 27%。在 436*1024 像素分辨率下，此方法以每秒 18.9 帧的速度运行，在具有挑战性的 Sintel 数据集中获得了优于所有已发表和未发表的能够实时运行的方法的最新成果，为准确高效的光流估计提供了新的范例。
occlusionsoptical flow algorithmsspatiotemporal informationglobal reference informationyoio framework
发现论文，激发创造
  • 学习使用全局运动聚合来估计隐藏的运动

    该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

    Apr, 2021

  • 持续遮挡和光流估计

    该论文提出了 ContinualFlow 算法来解决光流估计中遮挡估计和处理以及超过两帧图像序列的估计问题，提高了 KITTI 和 Sintel 的性能。该方法利用前一帧图像的光流信息来估计遮挡，并在无对应区域中作为经验先验，能够不断进行优化。

    Nov, 2018

  • 值得信赖的自注意力：使网络只专注于最相关的参考资料

    通过利用在线遮挡识别信息构建扩展可视特征和两个强约束条件，该研究实现了光流预测中对被遮挡点的精确定位，取得了当前领先方法的显著误差减小，对所有点、未被遮挡的点和被遮挡的点分别比 GMA-base 方法 (MATCHFlow (GMA)) 分别减小了 18.6%、16.2% 和 20.1%，在 Sintel clean pass 上位列所有已发布方法之首，代码将会开源。

    Mar, 2024

  • 多帧光流估计的融合方法

    本文提出了一种简单而有效的多帧光流估计的融合方法，该方法利用了长期的时间线索，首先将前几帧的光流投影到当前帧，然后将这些光流之间携带的互补信息融合为一个新的光流场，并在 MPI Sintel 和 KITTI 2015 基准测试中排名第一。

    Oct, 2018

  • StreamFlow: 视频序列的简化多帧光流估计

    针对光流估计中的连续帧遮挡问题，我们提出了一个简化的批处理多帧（SIM）流程，包括高效的时空建模方法和全局时间回归器（GTR），可在解码过程中有效地探索时间关系。相对于以前的多帧方法，该方法不仅在 KITTI 和 Sintel 数据集上的性能表现出色，尤其是在遮挡区域方面有显著改进，而且在速度方面取得了显著的 63.82% 提升。

    Nov, 2023

  • 每一帧都很重要：视频分割和光流联合学习

    提出一种新的框架以实现视频语义分割和光流估计的联合训练，通过联合训练利用视频中已标记和未标记的帧，使视频语义分割和光流估计更加稳健并在相应任务中表现优异。

    Nov, 2019

  • GMA3D：使用本地 - 全局注意力学习估计场景流动中的遮挡运动

    该论文提出了一种基于变压器架构的 GMA3D 模块，通过运用局部和全局相似性从非遮挡点的运动信息和局部运动信息来推断被遮挡点的运动信息，并使用偏移生成器来聚合它们，从而解决了场景流中的遮挡问题，并在 KITTI，FlyThings3D 等数据集上取得了最优结果。

    Oct, 2022

  • 一种深度时空融合框架，用于场景流的可学习运动模型和遮挡

    该论文提出了一种基于数据驱动的多帧场景流估计方法，通过神经网络以及双向场景流估计和遮挡掩模生成实现了对运动估计中遮挡问题的有效解决，提供了一种快速有效的计算机视觉方法。

    Nov, 2020

  • MirrorFlow: 利用对称性进行光流和遮挡估计

    本文提出了一种对称的光流方法，通过充分利用光流和遮挡的对称性来解决光流和遮挡之间的鸡生蛋问题，结果显示我们的模型在标准基准测试中具有显着的性能优势，尤其是对于具有挑战性的 KITTI 数据集，我们报告了至今最准确的两帧光流结果。

    Aug, 2017

  • OCAI: 通过遮挡和一致性感知插值改进光流估计

    通过生成中间视频帧和光流来支持鲁棒的帧插值，我们提出了一种利用前向映射和遮挡感知解决像素值模糊和缺失的 OCAI 方法，并引入了师生式半监督学习以提高插值质量和光流准确性。

    Mar, 2024