Nov, 2023

CCMR：通过粗到细的上下文引导的运动推理实现高分辨率光流估计

PDF
TL;DR提出了使用注意力机制的运动聚合概念在光流估计中的应用，通过高分辨率多尺度网络实现了高分辨率的精细运动估计，比单一尺度和多尺度注意力自由方法分别提高了 23.0% 和 21.6%，取得了 KITTI 2015 排名第一和 MPI Sintel Clean 和 Final 排名第二的最先进结果。
attention-based motion aggregationoptical flow estimationhigh-resolution multi-scale networkscontext-motion grouping strategyccmr approach
发现论文，激发创造
  • 深度光流的粗细联合推理

    本文提出了一种利用 CNNs 进行密集像素估计任务的新型表示方法，通过明确利用联合粗细推理来提高精度并降低训练时间。

    Aug, 2018

  • 多尺度细化的注意力语义分割

    本文提出了一种新颖的注视模型用于语义分割，该模型聚合了多尺度和上下文特征进行预测。该模型使用骨骼卷积神经网络框架输入多个不同的尺度，进而可以获取不同尺度的表示。提出的注视模型将分别处理不同尺度的特征并集成它们。然后，该模型的位置注视分支学习到每个像素位置上的多尺度特征的软加权。此外，我们添加了一个重新校准分支，与位置注视分支平行，用于重新校准每个类别的分数图。在 PASCAL VOC 2012 和 ADE20K 数据集上，我们取得了相当有竞争力的结果，超过了基线和相关工作。

    Jul, 2018

  • CoT-AMFlow: 自适应调制网络与合作教学策略用于无监督光流估计

    本文提出了一种基于适应性调制网络的自监督光流估计方法 CoT-AMFlow，采用流调制模块和代价体积调制模块去除噪点，同时采用师生共同训练策略，实时性能表现优于其他最先进的自监督方法。

    Nov, 2020

  • MCMS：多分类信息和多尺度条纹注意力盲目运动去模糊

    通过多分类信息和多尺度条纹关注机制的基于深度学习的运动去模糊网络，实现了对模糊图像中高频分量的边缘信息和低频分量的结构信息的有效融合，有效提高了运动去模糊的效果。使用分组特征融合技术以及多尺度条纹关注机制，进一步增强了深度模型的特征表示能力。大规模对比研究证明了本论文提出的策略优于最近发布的方法。

    May, 2024

  • RGB-D 物体检测的跨模态注意力上下文学习

    本文提出了一种基于跨模态关注上下文学习框架的方法，通过充分开发 RGB 和深度数据的上下文信息来识别物体。实验证明，该方法在所有公共基准测试中均显著提高了 RGB-D 物体检测的准确性，并提供了可解释的可视化方案。

    Oct, 2018

  • 用于人群计数的多尺度注意力网络

    提出了一种使用多分支尺度感知注意力网络、卷积神经网络、软注意力机制、尺度感知损失函数等方法，在 4 个不同的人群计数数据集上实现了最先进的效果，平均减少 25% 的误差。

    Jan, 2019

  • CRAFT: 面向鲁棒性光流的交叉关注流变换器

    提出了一种新型的 CRoss-Attentional Flow Transformer (CRAFT) 系统，该系统利用语义平滑器和变形器跨框架注意力代替点积相关性来估计光流。与其他深度学习光流方法相比，CRAFT 在对大运动进行准确估计时效果更佳，并在 Sintel（Final）和 KITTI（foreground）基准测试中创造了新的最优表现。

    Mar, 2022

  • 基于 1D 注意力和相关性的高分辨率光流

    该论文提出了一种借鉴 Transformer 的高分辨率光流估计新方法，通过在目标图像垂直方向上首先应用 1D 注意力操作，然后在经过注意力操作后在水平方向上进行简单的 1D 相关操作，从而实现 2D 对应建模，能够适应极高分辨率图像，并保持竞争性能。

    Apr, 2021

  • 视频语义分割的粗到细特征挖掘

    提出了一种 Coarse-to-Fine Feature Mining 技术，用于同时学习在图像语义分割中已经充分利用的静态内容与视频语义分割中特有的动态内容，利用在连续帧中挖掘有用信息的方法增强了视频特征的内容。该技术在视频语义分割方面具有优异的表现。

    Apr, 2022

  • GAFlow：将高斯注意力融入光流

    本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。

    Sep, 2023