Mar, 2024

值得信赖的自注意力：使网络只专注于最相关的参考资料

PDF
TL;DR通过利用在线遮挡识别信息构建扩展可视特征和两个强约束条件，该研究实现了光流预测中对被遮挡点的精确定位，取得了当前领先方法的显著误差减小，对所有点、未被遮挡的点和被遮挡的点分别比 GMA-base 方法 (MATCHFlow (GMA)) 分别减小了 18.6%、16.2% 和 20.1%，在 Sintel clean pass 上位列所有已发布方法之首，代码将会开源。
发现论文，激发创造
  • 学习使用全局运动聚合来估计隐藏的运动

    该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

    Apr, 2021

  • SelFlow: 光流的自监督学习

    本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。

    Apr, 2019

  • 基于遮挡引导的自监督三维点云场景流量估计

    本文提出了一种新的自监督训练方法和架构，实现了三维场景流估计，优于传统的结构，包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。

    Apr, 2021

  • 自我监督学习的跨像素光流相似度

    采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

    Jul, 2018

  • GMA3D：使用本地 - 全局注意力学习估计场景流动中的遮挡运动

    该论文提出了一种基于变压器架构的 GMA3D 模块，通过运用局部和全局相似性从非遮挡点的运动信息和局部运动信息来推断被遮挡点的运动信息，并使用偏移生成器来聚合它们，从而解决了场景流中的遮挡问题，并在 KITTI，FlyThings3D 等数据集上取得了最优结果。

    Oct, 2022

  • 重新思考几何匹配一致透视的光流

    本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow，通过先使用几何图像匹配（GIM）作为预训练任务，再进行光流估计，从而提高了图像特征的匹配性能，实验结果表明该模型性能优异，相较于已发表的方法，拥有最优的表现。

    Mar, 2023

  • 光流估计的一致性约束

    本论文提出了新的一致性策略，包括自监督学习和半监督学习，以提高基于像素级运动描述能力，并在 KITTI-2015 景流基准测试中达到卓越的结果，实现前景准确性最佳的成果，其中且仅使用单眼图像输入。

    Apr, 2022

  • YOIO: 光流估计中仅迭代一次的方法，通过挖掘和融合多个必要的全局信息

    通过充分利用帧对提供的时空信息，设计回路判断算法以确保获得正确的全局参考信息，并从中挖掘多种必要的全局信息，再设计一个高效的细化模块来融合这些全局信息，提出了一种名为 YOIO 的框架，可以在只进行一次迭代的情况下显著提升遮挡区域的光流估计性能，而对非遮挡区域的性能没有损害。与 GMA 相比，该方法在遮挡区域的光流预测精度提高了 10% 以上，occ_out 区域超过 15%，计算时间缩短了 27%。在 436*1024 像素分辨率下，此方法以每秒 18.9 帧的速度运行，在具有挑战性的 Sintel 数据集中获得了优于所有已发表和未发表的能够实时运行的方法的最新成果，为准确高效的光流估计提供了新的范例。

    Jan, 2024

  • FocusFlow: 提升自动驾驶关键点光流估计的方法

    基于关键点的场景理解对自动驾驶应用至关重要，同时光流在许多视觉任务中发挥着重要作用。本研究提出了一种基于点的建模方法，通过学习关键点先验信息来解决传统数据驱动光流估计方法在关键点上性能不佳的问题，并使用 FocusFlow 框架进行多样的点级监督，取得了显著的性能提升。

    Aug, 2023

  • 具备遮挡感知的光流无监督学习

    本文研究了卷积神经网络在无监督学习下学习光流预测的能力；提出了一种新的模型来显式模拟遮挡问题，并使用新颖的变换方式来更好地学习大运动；在 Flying Chairs，MPI-Sintel 和 KITTI 标准数据集上进行了测试，结果表明在 KITTI 数据集上无监督方法的效果优于有监督方法，尤其在该数据集上，我们的方法表现出色。

    Nov, 2017