Oct, 2020

准确光流估计的位移不变匹配代价学习

PDF
TL;DR本研究基于深度立体匹配中使用的 3D 卷积学习 3D 成本体积和流形成本之间的映射关系，旨在提出一种新的算法，该算法绕过了需要构建 5D 特征体积的要求。具体而言，本研究提出解耦 2D 位移之间的关系，并在每个 2D 位移假设上独立地应用 2D 卷积匹配网络来学习 4D 成本体积，从而实现了独立于位移的成本学习。最后，我们采用 2D soft-argmin 层将成本体积投影到光流估计中。
deep stereo matchingoptical flowconvolutionsmatching costsdisplacement-invariant cost learning
发现论文，激发创造
  • 直接代价体积处理实现精准光流计算

    通过对完整的四维成本体积进行操作，我们提出了一个光流估计方法，利用半全局匹配来优化四维成本体积，使得我们的方法比现有的光流方法更精确，速度更快，并在 Sintel 和 KITTI 2015 基准测试上优于所有已发布的通用光流方法。

    Apr, 2017

  • 深度立体匹配自适应单峰代价卷积滤波

    本文提出了一种新的深度学习立体匹配方法，通过在代价体上增加限制和建立局部基于峰值的单峰分布函数，显式地建模不同环境下的匹配不确定性，从而提高了匹配效果。

    Sep, 2019

  • 从少量匹配学习光流

    本文研究了一种神经网络模型的新方法，使用稀疏相关物体代替密集相关物体，以更高效且准确地估算像素位移并降低计算成本和内存使用。

    Apr, 2021

  • 匹配函数学习

    本篇论文介绍了一种学习匹配函数的方法，该方法能自动发现允许视觉外观变化的空间，并学习相关特征在不同相对位置和尺度上的匹配分数的重要性。该算法已在 KITTI、Sintel 和 TimeLapse 数据集上实现了有希望的结果。

    Feb, 2015

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • LiteFlowNet3: 解决对应模糊问题以提高光流估计准确性

    本文介绍 LiteFlowNet3 来解决深度学习方法在处理光流估计时出现的挑战，LiteFlowNet3 使用了两个专门模块：通过自适应调制减少代价体积中的异常值从而改善代价体积的性质，并通过新颖的光流场变形方法，替代有问题的光流场来进一步提高光流估计的准确度。LiteFlowNet3 不仅在公共基准测试中取得了有前途的结果，而且具有小型模型大小和快速运行时长。

    Jul, 2020

  • 通过半径分布正交代价体积实现内存高效的光流计算

    MeFlow 是一种新的内存高效的方法，用于高分辨率光流估计，通过使用局部正交费用体积和自注意力，在高分辨率输入下实现竞争性性能和最高的内存效率。

    Dec, 2023

  • 通过时空对应将立体匹配和光流联系起来

    本文提出一种单一和原则性网络，用于联合学习立体匹配和流估计的时空对应关系，通过设计的几何连接作为临近时间内的立体对的无监督信号。结果表明，我们的方法对于 KITTI 基准数据集上的无监督深度和流估计都优于几种最先进的基线方法。

    May, 2019

  • Flow2Stereo：光流和立体匹配的有效自监督学习

    我们提出了一种统一的方法来共同学习光流和立体匹配。我们的第一条直觉是，立体匹配可以被建模为光流的一种特殊情况，我们可以利用立体视频背后的三维几何来指导这两种形式的对应关系的学习。然后，我们将这个知识纳入到最先进的自我监督学习框架中，并训练一个单一的网络来估计流和立体。其次，我们揭示了先前自我监督学习方法中的瓶颈，并提出了创建一组新的具有挑战性的代理任务来提高性能的方法。这两个洞察力产生了一个单一的模型，在 KITTI 2012 和 2015 基准测试中，这些模型的准确性甚至超过了包括 PWC-Net 和 FlowNet2 在内的几种最先进的全监督方法。

    Apr, 2020

  • 基于特征一致性学习的视差估计

    提出一种网络架构以整合所述对象的所有步骤，计算多尺度共享的特征，使用共享特征执行匹配成本计算、匹配成本聚合和视差计算以估计初始视差，并根据正确性计算特征恒定性，从而细化初始视差。

    Dec, 2017