Apr, 2023

LLA-FLOW: 光流估计的轻量级代价体积局部聚合

PDF
TL;DR通过在特征图上使用轻量化模块聚合代价体积，使用传统的局部区域约束来设计局部相似性聚合（LSA）和移位局部相似性聚合（SLSA），以降低光流估计中全局信息聚合所需的高昂内存和时间成本，同时保持有竞争力的性能。
optical flow estimationtexture matchinglocal similarity aggregationshifted local similarity aggregationfeature maps
发现论文，激发创造
  • LiteFlowNet3: 解决对应模糊问题以提高光流估计准确性

    本文介绍 LiteFlowNet3 来解决深度学习方法在处理光流估计时出现的挑战，LiteFlowNet3 使用了两个专门模块：通过自适应调制减少代价体积中的异常值从而改善代价体积的性质，并通过新颖的光流场变形方法，替代有问题的光流场来进一步提高光流估计的准确度。LiteFlowNet3 不仅在公共基准测试中取得了有前途的结果，而且具有小型模型大小和快速运行时长。

    Jul, 2020

  • 使用 Cayley 表示法的可学习成本体积

    通过使用椭圆内积，我们提出了一种可学习的成本体积 (LCV)，可插入现有模型以替换香草成本体积，实验结果显示该模块提高了最新模型的准确度，并促进了它们在输入信号的光照变化，噪声和对抗扰动方面的鲁棒性。

    Jul, 2020

  • 从少量匹配学习光流

    本文研究了一种神经网络模型的新方法，使用稀疏相关物体代替密集相关物体，以更高效且准确地估算像素位移并降低计算成本和内存使用。

    Apr, 2021

  • 通过半径分布正交代价体积实现内存高效的光流计算

    MeFlow 是一种新的内存高效的方法，用于高分辨率光流估计，通过使用局部正交费用体积和自注意力，在高分辨率输入下实现竞争性性能和最高的内存效率。

    Dec, 2023

  • 直接代价体积处理实现精准光流计算

    通过对完整的四维成本体积进行操作，我们提出了一个光流估计方法，利用半全局匹配来优化四维成本体积，使得我们的方法比现有的光流方法更精确，速度更快，并在 Sintel 和 KITTI 2015 基准测试上优于所有已发布的通用光流方法。

    Apr, 2017

  • 用 Transformer 统一特征和成本聚合的语义和视觉对应

    本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

    Mar, 2024

  • OccCasNet：用于光场深度估计的遮挡感知级联代价体积

    本研究提出了一个基于层级累加代价体积和遮挡感知技术的光场深度估计方法，该方法利用相机阵列的子孔径图像对中心图像进行提取深度，同时通过引入遮挡地图来提高深度的估计准确性。实验证明了该方法比同类方法更加精确和高效。

    May, 2023

  • 逐步稀疏的局部注意力在视频物体检测中的应用

    该论文提出了一种名为 PSLA 的新型模块，它通过逐步稀疏的步幅在局部区域内建立跨帧特征间的空间对应关系，并使用这个对应关系来传播特征。基于 PSLA，提出了 RFU 和 DenseFT 来分别建模时间外观和丰富特征表示，进而构建了一种新型的视频目标检测框架。实验表明，该方法在模型大小更小、运行时间可接受的情况下取得了最佳准确度。

    Mar, 2019

  • 学习使用全局运动聚合来估计隐藏的运动

    该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

    Apr, 2021

  • 基于实例遮挡处理的局部参数候选聚合光流算法

    提出采用两步聚合范式来解决在视频序列中计算光流时存在的位移、运动细节和遮挡问题，并对其进行实验验证，证明其在计算机视觉基准测试中取得了最先进的结果，尤其是在位移和遮挡的情况下表现出显著的提升。

    Jul, 2014