CVPRNov, 2021

GMFlow：通过全局匹配学习光流

PDF
TL;DR通过将光流重新描述为全局匹配问题，并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架，从而实现高准确性和高效率的光流估计。
optical flowglobal matchingtransformercorrelationself-attention
发现论文，激发创造
  • 利用重叠关注全局匹配进行光流估计

    本文提出了一种学习匹配 - 优化框架 GMFlowNet，将全局匹配引入到直接回归之前，同时引入了基于补丁的重叠注意力来提高匹配质量，实验结果表明 GMFlowNet 在标准基准上性能最佳，能够有效处理大运动和无纹理区域的挑战。

    Mar, 2022

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • 重新思考用于高效光流的 RAFT

    该论文提出了一种基于 RAFT 框架的 Attention-based Feature Localization (AFL) 方法，通过引入注意力机制处理全局特征提取和解决重复模式问题，进而提出了 Amorphous Lookup Operator (ALO) 来提高收敛速度和处理大位移的能力。结果表明，该方法在 Sintel 数据集上提高了 10%，在 KITTI 数据集上提高了 5%，且仅速度降低了 33%，内存使用仅增加了 13%。

    Jan, 2024

  • GMSF: 全局匹配场景流

    本文提出了一种使用单尺度全局匹配的方法，使用混合的本地 - 全局 - 交叉转换器架构分解了特征提取步骤，以精确稳健的特征表示的可靠特征相似性为关键，并在多个场景流估计基准测试中取得了最新的最先进的性能。

    May, 2023

  • GAFlow：将高斯注意力融入光流

    本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。

    Sep, 2023

  • CRAFT: 面向鲁棒性光流的交叉关注流变换器

    提出了一种新型的 CRoss-Attentional Flow Transformer (CRAFT) 系统，该系统利用语义平滑器和变形器跨框架注意力代替点积相关性来估计光流。与其他深度学习光流方法相比，CRAFT 在对大运动进行准确估计时效果更佳，并在 Sintel（Final）和 KITTI（foreground）基准测试中创造了新的最优表现。

    Mar, 2022

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

    Aug, 2021

  • 通过半径分布正交代价体积实现内存高效的光流计算

    MeFlow 是一种新的内存高效的方法，用于高分辨率光流估计，通过使用局部正交费用体积和自注意力，在高分辨率输入下实现竞争性性能和最高的内存效率。

    Dec, 2023

  • 全流程：基于规则网格的全局优化光流估计

    本文提出了一种基于全局优化的光流估计方法，通过针对规则化的映射空间高效匹配数万个节点和位移计算，实现了从二次复杂度到线性复杂度的优化。通过对单分辨率规则格网优化实现连续插值，该领域达到了最新的实验性能。

    Apr, 2016

  • 基于变压器的视频修补中利用光流指导

    提出 Flow-guided transformer plus (FGT++) 模型，通过轻量级的流完成网络、流引导功能模块及时空维度分离 MHSA 机制等方式，提高视频修复的效率与效果。

    Jan, 2023