CVPRApr, 2023

TransFlow: Transformer 作为流学习器

PDF
TL;DRTransFlow 是一个基于 Transformer 结构的纯光流估计方法，通过利用空间自注意力机制和跨帧交叉注意力机制，实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息，并通过简单的自学习范式，消除复杂的多阶段预训练程序，在多个任务上实现了最先进的结果。
发现论文，激发创造
  • FlowFormer: 光学流的 Transformer 架构

    FlowFormer 是一种基于 Transformer 网络的神经网络结构，用于学习光流，并在 Sintel 基准测试中获得了最佳效果。

    Mar, 2022

  • 任务导向流的视频增强

    本研究提出了一种基于任务的流程（TOFlow），该方法采用自我监督的方式以任务特定的方式学习运动表示，并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。

    Nov, 2017

  • SelFlow: 光流的自监督学习

    本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。

    Apr, 2019

  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 使用流变换器进行视频帧插值

    我们提出了一种视频帧插值流 Transformer 的方法，通过将运动动态从光流中引入自注意机制，使得我们的框架适用于插值具有大运动的帧，同时保持相对较低的复杂性，并通过构建多尺度架构来提高整体性能，实验证明该方法能够生成比现有方法更好视觉质量的插值帧。

    Jul, 2023

  • 类比学习：基于变换的可靠监督用于无监督光流估计

    本文提出了一种使用变换提供的可靠监督信息的框架，通过使用数据增强技术来运行另一个向前传递的过程，并使用原始数据的转换后的预测结果作为自我监督信号，从而得到了多帧轻量级网络的最佳精度。

    Mar, 2020

  • CRAFT: 面向鲁棒性光流的交叉关注流变换器

    提出了一种新型的 CRoss-Attentional Flow Transformer (CRAFT) 系统，该系统利用语义平滑器和变形器跨框架注意力代替点积相关性来估计光流。与其他深度学习光流方法相比，CRAFT 在对大运动进行准确估计时效果更佳，并在 Sintel（Final）和 KITTI（foreground）基准测试中创造了新的最优表现。

    Mar, 2022

  • 自我监督学习的跨像素光流相似度

    采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

    Jul, 2018

  • ProFlow: 光流预测学习

    本文提出了一种基于卷积神经网络（CNN）的无监督在线学习方法，用于为每帧单独估计运动模型，通过前后向的运动关系实现运动信息的推导，并能够解决非刚性运动估计的主要限制，与没有运动预测的基线相比，在 KITTI 2012、KITTI 2015 和 MPI Sintel 三项基准测试中表现出了长达 27％的一致性改进。

    Jun, 2018

  • 使用超级核函数学习光流

    本文提出了基于 CNN 的 Super Kernel Flow Network (SKFlow) 算法估计局部模糊区域中的光流，通过超级核心理论解决匹配信息缺失的问题，在 Sintel 基准测试中表现优秀。

    May, 2022