Mar, 2020

MaskFlownet: 可学习的遮挡掩蔽的不对称性特征匹配

HTML
PDF
TL;DR本文提出了一种不对 occlusion 区域进行显式监督学习的不对称 occlusion-aware 特征匹配模块。此模块可以在特征变形之后学习粗略的 occlusion 掩蔽，可以轻松地与端到端网络架构集成，并在不引入可忽略的计算成本的同时获得性能提升。学到的 occlusion 掩蔽可以进一步输入到具有双特征金字塔的后续网络级联中，其中我们实现了最先进的性能。我们的方法 MaskFlownet 在 MPI Sintel、KITTI 2012 和 2015 基准测试中均超过了所有已发布的光流方法。
发现论文，激发创造
  • MirrorFlow: 利用对称性进行光流和遮挡估计

    本文提出了一种对称的光流方法，通过充分利用光流和遮挡的对称性来解决光流和遮挡之间的鸡生蛋问题，结果显示我们的模型在标准基准测试中具有显着的性能优势，尤其是对于具有挑战性的KITTI数据集，我们报告了至今最准确的两帧光流结果。

    Aug, 2017

  • 具备遮挡感知的光流无监督学习

    本文研究了卷积神经网络在无监督学习下学习光流预测的能力；提出了一种新的模型来显式模拟遮挡问题，并使用新颖的变换方式来更好地学习大运动；在Flying Chairs，MPI-Sintel和KITTI标准数据集上进行了测试，结果表明在KITTI数据集上无监督方法的效果优于有监督方法，尤其在该数据集上，我们的方法表现出色。

    Nov, 2017

  • 使用通用网络进行视差、光流或场景流估计中的遮挡、运动和深度边界

    本文提出了一种基于学习的方法，可以联合估计离散或光流下的遮挡区域，通过估计遮挡和运动边界的线性提升结果，同时提供了基于KITTI基准测试的最新网络和良好的通用性能。而通过利用估计的遮挡，我们还展示了运动分割和场景流估计的改进结果。

    Aug, 2018

  • 持续遮挡和光流估计

    该论文提出了ContinualFlow算法来解决光流估计中遮挡估计和处理以及超过两帧图像序列的估计问题，提高了KITTI和Sintel的性能。该方法利用前一帧图像的光流信息来估计遮挡，并在无对应区域中作为经验先验，能够不断进行优化。

    Nov, 2018

  • 联合光流和遮挡估计的迭代残差细化

    本文提出了一种基于迭代残差细化和权重共享的光流估计方法，它结合了经典能量最小化方法和残余网络的优点，通过整合遮挡预测和双向流估计，进一步提高了准确性。与其他方法相比，该方法显著提高了光流估计和遮挡估计的准确性，且参数数量更少。

    Apr, 2019

  • 光流估计的一致性约束

    本论文提出了新的一致性策略，包括自监督学习和半监督学习，以提高基于像素级运动描述能力，并在KITTI-2015景流基准测试中达到卓越的结果，实现前景准确性最佳的成果，其中且仅使用单眼图像输入。

    Apr, 2022

  • 使用超级核函数学习光流

    本文提出了基于CNN的Super Kernel Flow Network (SKFlow)算法估计局部模糊区域中的光流，通过超级核心理论解决匹配信息缺失的问题，在Sintel基准测试中表现优秀。

    May, 2022

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • SplatFlow: 通过分割学习多帧光流

    本文中，我们提出了一种称为SplatFlow的multi-frame optical flow估计（mOFE）框架，可以通过引入可微变换方法来处理遮挡问题，并在KITTI2015和Sintel基准评估中得到显著的改进。

    Jun, 2023

  • OCAI: 通过遮挡和一致性感知插值改进光流估计

    通过生成中间视频帧和光流来支持鲁棒的帧插值，我们提出了一种利用前向映射和遮挡感知解决像素值模糊和缺失的OCAI方法，并引入了师生式半监督学习以提高插值质量和光流准确性。

    Mar, 2024