ICCVSep, 2023

GAFlow：将高斯注意力融入光流

PDF
TL;DR本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。
optical flowgaussian attentionrepresentation learningmotion analysisgaflow
发现论文，激发创造
  • 利用重叠关注全局匹配进行光流估计

    本文提出了一种学习匹配 - 优化框架 GMFlowNet，将全局匹配引入到直接回归之前，同时引入了基于补丁的重叠注意力来提高匹配质量，实验结果表明 GMFlowNet 在标准基准上性能最佳，能够有效处理大运动和无纹理区域的挑战。

    Mar, 2022

  • GMFlow：通过全局匹配学习光流

    通过将光流重新描述为全局匹配问题，并使用定制 Transformer 进行特征增强、相关性和 softmax 层进行全局特征匹配、以及自注意力层进行流传播来构建 GMFlow 框架，从而实现高准确性和高效率的光流估计。

    Nov, 2021

  • GMA3D：使用本地 - 全局注意力学习估计场景流动中的遮挡运动

    该论文提出了一种基于变压器架构的 GMA3D 模块，通过运用局部和全局相似性从非遮挡点的运动信息和局部运动信息来推断被遮挡点的运动信息，并使用偏移生成器来聚合它们，从而解决了场景流中的遮挡问题，并在 KITTI，FlyThings3D 等数据集上取得了最优结果。

    Oct, 2022

  • 自适应图推理学习光流

    本文提出了一种名为自适应图推理的光流图算法，通过在匹配过程中利用场景信息，有效地利用上下文信息并将其合并到匹配过程中，提高了运动估计的鲁棒性和准确性，在 Sintel 干净和最终通行证上，其 EPE 分别为 1.43 和 2.47 像素，比现有技术提高了 11.2% 和 13.6%。

    Feb, 2022

  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • 点云分析的梯度关注模块优化

    本文提出了一种基于梯度的局部注意力模块，即梯度注意力模块（GAM），以解决点云分析中现有局部特征融合不足的问题，并在五个数据集上进行了全面实验以证明其有效性和泛化能力，尤其在 S3DIS 数据集上表现最佳，精确度、全局准确率、平均精确度分别达到 74.4％/90.6％/83.2％。

    Mar, 2023

  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 利用正交信息层次生成视频：光流和纹理

    使用光流作为 motion 信息的 FTGAN 模型，包含 FlowGAN 和 TextureGAN，实现了在无监督学习的情况下生成更真实的视频，可帮助提高动作分类的性能。

    Nov, 2017

  • 值得信赖的自注意力：使网络只专注于最相关的参考资料

    通过利用在线遮挡识别信息构建扩展可视特征和两个强约束条件，该研究实现了光流预测中对被遮挡点的精确定位，取得了当前领先方法的显著误差减小，对所有点、未被遮挡的点和被遮挡的点分别比 GMA-base 方法 (MATCHFlow (GMA)) 分别减小了 18.6%、16.2% 和 20.1%，在 Sintel clean pass 上位列所有已发布方法之首，代码将会开源。

    Mar, 2024