CVPRApr, 2021

渐进式时间特征对齐网络用于视频修复

PDF
TL;DR该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法，通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题，实现了对视频内容的自然修复和优化，进而在多个数据集上获得了目前的最佳表现。
video inpaintingspatio-temporalprogressive temporal feature alignment networkoptical flowdeep learning
发现论文，激发创造
  • 深度流引导视频修复

    本文提出了一种新颖的视频修复方法，使用 Deep Flow Completion 网络综合光流场来引导像素填充，从而保证了视频内容的时空连贯性，并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。

    May, 2019

  • 深度视频修复

    本文提出了一种基于深度学习的快速视频修复网络，结合图像编解码模型，利用邻帧信息综合填充未知视频区域，并运用循环反馈和时间存储模块确保输出的时空连续性，与之前的视频修复方法相比，其结果更为语义正确和时空平滑，且可用于视频重定向任务并生成优质视觉效果。

    May, 2019

  • 通过联合学习时空结构和空间细节进行视频修复

    本文提出了一种新的基于数据驱动的视频修复方法，采用了深度学习的网络结构，包含了两个子网络，一个是基于 3D 完全卷积的时间结构推断网络，另一个是二维全卷积网络的空间细节修复网络，该方法能够更好的恢复缺失的区域，并且其效果优于以往的视频修复方法。

    Jun, 2018

  • 学习视频修复的联合时空变换

    本篇论文提出了一种基于自注意力机制和空间 - 时间转换网络的视频修复方法，通过对所有输入帧进行自注意力填充缺失区域，并提出利用空间 - 时间对抗损失进行优化的方法，从而在定量和定性方面证明了该模型的优越性。

    Jul, 2020

  • 一种视频修复的内部学习方法

    提出了一种新颖的视频修复算法，通过 Deep Image Prior（DIP）推出的卷积网络，同时生成缺失的外观和光流信息，并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。

    Sep, 2019

  • 基于 Flow-Guided 技术的视频修复 Transformer

    提出了一种基于光学流的流程引导变压器，用于高保真视频修复，通过设计新颖的流完整网络来完成损坏的光流，并使用流引导变压器来合成其余的损坏区域，通过时间和空间维度解耦变压器，以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。

    Aug, 2022

  • 基于变压器的视频修补中利用光流指导

    提出 Flow-guided transformer plus (FGT++) 模型，通过轻量级的流完成网络、流引导功能模块及时空维度分离 MHSA 机制等方式，提高视频修复的效率与效果。

    Jan, 2023

  • 深度视频修复的复制粘贴网络

    利用深度学习构建了 Copy-and-Paste Networks 模型，以实现视频修复和增强，能够从与目标帧对应的参考帧中复制相关内容并粘贴填充，从而提高视频修复效果和车道检测精度。

    Aug, 2019

  • ProPainter: 提升视频修复的传播和变换器

    通过改进的 ProPainter 框架，结合了增强的 ProPagation 和高效的 Transformer 机制，实现了视频修复的高效性和更好的效果。

    Sep, 2023

  • 多视角金字塔变换网络在视频修复检测中的应用

    本文介绍了一种名为 MumPy 的新型多边时空视图金字塔变换器，提出了一种利用新设计的多边时空视图编码器和可变形窗口时空视图交互模块的方法来灵活地合作处理空间 - 时间线索，以及开发了一个多金字塔解码器来聚合各种特征并生成检测图，通过调整空间和时间线索的贡献强度，我们的方法能够有效地识别修复区域。我们在现有数据集上验证了我们的方法，并且基于 YouTube-VOS 数据集引入了一个新的具有挑战性和大规模的视频修复数据集，该数据集使用了几种更近期的修复方法。结果显示了我们的方法在域内和跨域评估场景中的优越性。

    Apr, 2024