CVPRMar, 2022

利用重叠关注全局匹配进行光流估计

PDF
TL;DR本文提出了一种学习匹配 - 优化框架 GMFlowNet，将全局匹配引入到直接回归之前，同时引入了基于补丁的重叠注意力来提高匹配质量，实验结果表明 GMFlowNet 在标准基准上性能最佳，能够有效处理大运动和无纹理区域的挑战。
optical flow estimationdeep neural networksglobal matchingoptimizationcomputer vision
发现论文，激发创造
  • GMFlow：通过全局匹配学习光流

    通过将光流重新描述为全局匹配问题，并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架，从而实现高准确性和高效率的光流估计。

    Nov, 2021

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • GAFlow：将高斯注意力融入光流

    本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。

    Sep, 2023

  • 重新思考用于高效光流的 RAFT

    该论文提出了一种基于 RAFT 框架的 Attention-based Feature Localization (AFL) 方法，通过引入注意力机制处理全局特征提取和解决重复模式问题，进而提出了 Amorphous Lookup Operator (ALO) 来提高收敛速度和处理大位移的能力。结果表明，该方法在 Sintel 数据集上提高了 10%，在 KITTI 数据集上提高了 5%，且仅速度降低了 33%，内存使用仅增加了 13%。

    Jan, 2024

  • GMA3D：使用本地 - 全局注意力学习估计场景流动中的遮挡运动

    该论文提出了一种基于变压器架构的 GMA3D 模块，通过运用局部和全局相似性从非遮挡点的运动信息和局部运动信息来推断被遮挡点的运动信息，并使用偏移生成器来聚合它们，从而解决了场景流中的遮挡问题，并在 KITTI，FlyThings3D 等数据集上取得了最优结果。

    Oct, 2022

  • 全流程：基于规则网格的全局优化光流估计

    本文提出了一种基于全局优化的光流估计方法，通过针对规则化的映射空间高效匹配数万个节点和位移计算，实现了从二次复杂度到线性复杂度的优化。通过对单分辨率规则格网优化实现连续插值，该领域达到了最新的实验性能。

    Apr, 2016

  • 值得信赖的自注意力：使网络只专注于最相关的参考资料

    通过利用在线遮挡识别信息构建扩展可视特征和两个强约束条件，该研究实现了光流预测中对被遮挡点的精确定位，取得了当前领先方法的显著误差减小，对所有点、未被遮挡的点和被遮挡的点分别比 GMA-base 方法 (MATCHFlow (GMA)) 分别减小了 18.6%、16.2% 和 20.1%，在 Sintel clean pass 上位列所有已发布方法之首，代码将会开源。

    Mar, 2024

  • GMSF: 全局匹配场景流

    本文提出了一种使用单尺度全局匹配的方法，使用混合的本地 - 全局 - 交叉转换器架构分解了特征提取步骤，以精确稳健的特征表示的可靠特征相似性为关键，并在多个场景流估计基准测试中取得了最新的最先进的性能。

    May, 2023

  • 学习使用全局运动聚合来估计隐藏的运动

    该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

    Apr, 2021

  • CRAFT: 面向鲁棒性光流的交叉关注流变换器

    提出了一种新型的 CRoss-Attentional Flow Transformer (CRAFT) 系统，该系统利用语义平滑器和变形器跨框架注意力代替点积相关性来估计光流。与其他深度学习光流方法相比，CRAFT 在对大运动进行准确估计时效果更佳，并在 Sintel（Final）和 KITTI（foreground）基准测试中创造了新的最优表现。

    Mar, 2022