ICMLMay, 2022

基于流对齐的无监督序列到序列学习用于视频恢复

PDF
TL;DR本文提出了一种无监督流对齐序列到序列模型（S2SVR），通过使用序列到序列模型和无监督光流估计器，并采用无监督蒸馏损失训练光流估计器，以解决视频恢复中间帧的建模问题。本文方法在多种视频恢复任务中均表现优异。
video restorationflow-aligned sequence-to-sequence modelunsupervised optical flow estimatorlong-range dependenciesdegraded optical flow
发现论文，激发创造
  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022

  • SAM 是否有助于视频超分辨率？

    使用 Segment Anything Model 为基础的语义感知的先验知识，通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果，并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升，同时提高了性能与参数数量平衡调整的灵活性。

    May, 2023

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 一次性进行的无监督运动分割：对视频进行平滑长期建模

    提出了一种基于长期时空模型的运动分割方法，该方法通过处理光流场序列，以无监督学习的方式提供视频中一致运动的分段，为计算机视觉任务和无监督视频表示学习提供了先决条件。

    Oct, 2023

  • 利用非对齐文本进行弱监督视频表示学习

    本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

    Mar, 2023

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 通过高分辨率光流估计进行视频超分辨率学习

    本文提出了一个端到端可训练的视频超分辨率框架，使用 HR 光流可提供更精确的对应关系并提高性能。在 Vid4 和 DAVIS-10 数据集上进行的比较结果显示，我们的框架实现了最先进的表现。

    Sep, 2018

  • 类比学习：基于变换的可靠监督用于无监督光流估计

    本文提出了一种使用变换提供的可靠监督信息的框架，通过使用数据增强技术来运行另一个向前传递的过程，并使用原始数据的转换后的预测结果作为自我监督信号，从而得到了多帧轻量级网络的最佳精度。

    Mar, 2020