ICCVApr, 2021

基于 1D 注意力和相关性的高分辨率光流

PDF
TL;DR该论文提出了一种借鉴 Transformer 的高分辨率光流估计新方法，通过在目标图像垂直方向上首先应用 1D 注意力操作，然后在经过注意力操作后在水平方向上进行简单的 1D 相关操作，从而实现 2D 对应建模，能够适应极高分辨率图像，并保持竞争性能。
optical flowtransformershigh-resolutioncomputational complexitycorrelation
发现论文，激发创造
  • 通过半径分布正交代价体积实现内存高效的光流计算

    MeFlow 是一种新的内存高效的方法，用于高分辨率光流估计，通过使用局部正交费用体积和自注意力，在高分辨率输入下实现竞争性性能和最高的内存效率。

    Dec, 2023

  • 从少量匹配学习光流

    本文研究了一种神经网络模型的新方法，使用稀疏相关物体代替密集相关物体，以更高效且准确地估算像素位移并降低计算成本和内存使用。

    Apr, 2021

  • 直接代价体积处理实现精准光流计算

    通过对完整的四维成本体积进行操作，我们提出了一个光流估计方法，利用半全局匹配来优化四维成本体积，使得我们的方法比现有的光流方法更精确，速度更快，并在 Sintel 和 KITTI 2015 基准测试上优于所有已发布的通用光流方法。

    Apr, 2017

  • CRAFT: 面向鲁棒性光流的交叉关注流变换器

    提出了一种新型的 CRoss-Attentional Flow Transformer (CRAFT) 系统，该系统利用语义平滑器和变形器跨框架注意力代替点积相关性来估计光流。与其他深度学习光流方法相比，CRAFT 在对大运动进行准确估计时效果更佳，并在 Sintel（Final）和 KITTI（foreground）基准测试中创造了新的最优表现。

    Mar, 2022

  • 重新思考以动力学视角预测光流

    本文提出了一种新的方法，通过从图像提取特征直接预测光流，同时考虑到光流估计的运动学视角和外观视角，采用可微分的变形操作解决了由于运动不准确造成的误差及遮挡问题，并通过自监督损失函数将运动特征与外观特征相结合，实验证明该方法在光流预测上表现优于现有方法，尤其在包含遮挡和快速运动的情况下效果更好。

    May, 2024

  • DIP: 高分辨率光流的深度反演 Patchmatch

    本论文提出了一种基于 Patchmatch 的深度学习光流方法，通过传播和局部搜索获得高精度结果，并提出了一种新的反向传播方法来减少计算复杂度，实验证明该方法在 KTTI2015 基准测试上排名第一，在 Sintel 干净基准测试上排名第二，以较少的内存消耗在高分辨率数据集 DAVIS 上得到良好的细节保留结果。

    Apr, 2022

  • 使用密集逆搜索实现快速光流

    提出一种低时空复杂度的 Dense Inverse Search-based 方法，通过多尺度 patch 聚合和变分优化可有效提取光流，适用于需要高时间分辨率的实时视觉应用。

    Mar, 2016

  • 端到端流量相关跟踪及时空注意力

    本文利用连续帧中的丰富流信息，通过在网络中制定特殊层来提高特征表示和跟踪精度，提出了一种基于深度学习框架中的联合训练流和跟踪任务的方法，并且采用了新颖的空间 - 时间注意机制，对 OTB2013、OTB2015、VOT2015 和 VOT2016 四个具有挑战性的跟踪数据集进行了广泛的实验，证明所提出的方法在这些基准测试中具有优越的结果。

    Nov, 2017

  • 全流程：基于规则网格的全局优化光流估计

    本文提出了一种基于全局优化的光流估计方法，通过针对规则化的映射空间高效匹配数万个节点和位移计算，实现了从二次复杂度到线性复杂度的优化。通过对单分辨率规则格网优化实现连续插值，该领域达到了最新的实验性能。

    Apr, 2016

  • 基于增强相关匹配的视频帧插值

    该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

    Nov, 2021