Nov, 2022

统一流场、立体和深度估计

PDF
TL;DR本文提出了一种统一的模型形式和模型，可以用于光流、矫正立体匹配和从定位图像中估计无校准立体深度。该模型使用 Transformer 中的交叉注意力机制实现判别特征表示，并在允许跨任务转移的同时，在多个数据集上实现或超过现有最新方法的性能。
optical flowstereo matchingdepth estimationdense correspondence matchingcross-attention mechanism
发现论文，激发创造
  • 通过时空对应将立体匹配和光流联系起来

    本文提出一种单一和原则性网络，用于联合学习立体匹配和流估计的时空对应关系，通过设计的几何连接作为临近时间内的立体对的无监督信号。结果表明，我们的方法对于 KITTI 基准数据集上的无监督深度和流估计都优于几种最先进的基线方法。

    May, 2019

  • DF-Net: 无监督联合学习深度和光流，使用交任务一致性

    这篇论文提出了一种利用几何一致性作为监督信号的无监督学习框架，可以同时训练单视角深度预测和光流估计模型，在训练过程中，所有网络均进行联合优化，在测试时可以单独应用，实验证明该方法与现有的无监督方法相比具有竞争优势。

    Sep, 2018

  • 用 Transformer 统一特征和成本聚合的语义和视觉对应

    本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

    Mar, 2024

  • 多视角立体视觉深度估计的反思：一种统一的表示方法

    本文提出了一种新的深度图表示方式 ——Unification，将回归和分类学习的优势结合在一起，在设计了新的统一 Focal Loss 的基础上，构建了一个粗到细的 Coarse-to-fine framework，称为 UniMVSNet，实现了最好的深度估计效果和最佳的泛化能力。

    Jan, 2022

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • TransFlow: Transformer 作为流学习器

    TransFlow 是一个基于 Transformer 结构的纯光流估计方法，通过利用空间自注意力机制和跨帧交叉注意力机制，实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息，并通过简单的自学习范式，消除复杂的多阶段预训练程序，在多个任务上实现了最先进的结果。

    Apr, 2023

  • Flow2Stereo：光流和立体匹配的有效自监督学习

    我们提出了一种统一的方法来共同学习光流和立体匹配。我们的第一条直觉是，立体匹配可以被建模为光流的一种特殊情况，我们可以利用立体视频背后的三维几何来指导这两种形式的对应关系的学习。然后，我们将这个知识纳入到最先进的自我监督学习框架中，并训练一个单一的网络来估计流和立体。其次，我们揭示了先前自我监督学习方法中的瓶颈，并提出了创建一组新的具有挑战性的代理任务来提高性能的方法。这两个洞察力产生了一个单一的模型，在 KITTI 2012 和 2015 基准测试中，这些模型的准确性甚至超过了包括 PWC-Net 和 FlowNet2 在内的几种最先进的全监督方法。

    Apr, 2020

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • RAFT-Stereo：用于立体匹配的多层循环场变换

    我们介绍了一种新的基于光流网络 RAFT 的校正立体的深度架构 RAFT-Stereo。我们引入了多级卷积 GRU，更有效地传播图像间的信息。RAFT-Stereo 的修改版本可进行准确的实时推断，其在 Middlebury 榜单上排名第一，在 1px 误差方面比第二好的方法高出 29％，并且在 ETH3D 两视图立体基准测试的所有已发布工作中表现最佳。代码可以在此 https URL 找到。

    Sep, 2021

  • GMFlow：通过全局匹配学习光流

    通过将光流重新描述为全局匹配问题，并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架，从而实现高准确性和高效率的光流估计。

    Nov, 2021