CVPRMay, 2019

深度流引导视频修复

PDF
TL;DR本文提出了一种新颖的视频修复方法，使用 Deep Flow Completion 网络综合光流场来引导像素填充，从而保证了视频内容的时空连贯性，并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。
video inpaintingoptical flowpixel propagationdeep learningcoherence
发现论文，激发创造
  • 深度视频修复

    本文提出了一种基于深度学习的快速视频修复网络，结合图像编解码模型，利用邻帧信息综合填充未知视频区域，并运用循环反馈和时间存储模块确保输出的时空连续性，与之前的视频修复方法相比，其结果更为语义正确和时空平滑，且可用于视频重定向任务并生成优质视觉效果。

    May, 2019

  • 视频修复的流引导扩散算法

    Flow-Guided Diffusion model significantly enhances temporal consistency and inpainting quality in video inpainting by employing optical flow and a model-agnostic flow-guided latent interpolation technique.

    Nov, 2023

  • 流引导视频修复的端到端框架

    本文提出了一种 End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) 方法，该方法通过三个可训练模块的设计实现了光流的流程化。 实验结果表明，该方法在质量和效率上都优于现有的方法。

    Apr, 2022

  • 基于 Flow-Guided 技术的视频修复 Transformer

    提出了一种基于光学流的流程引导变压器，用于高保真视频修复，通过设计新颖的流完整网络来完成损坏的光流，并使用流引导变压器来合成其余的损坏区域，通过时间和空间维度解耦变压器，以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。

    Aug, 2022

  • 一种视频修复的内部学习方法

    提出了一种新颖的视频修复算法，通过 Deep Image Prior（DIP）推出的卷积网络，同时生成缺失的外观和光流信息，并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。

    Sep, 2019

  • 基于深度学习的图像和视频修复研究综述

    通过深度学习，对于图像和视频修复的基于深度学习的方法进行综合评述，并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时，讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用，并探讨了公开挑战和未来可能的研究方向。

    Jan, 2024

  • 流引导视频修复的误差补偿框架

    本研究提出了基于流场引导的视频修复的误差补偿框架（ECFVI），通过设计新的流场完备模块和误差补偿网络，提高视频修复的时间连贯性和视觉质量，并通过新的基准测试数据集对所提出方法的高效性进行了支持。

    Jul, 2022

  • 流边引导的视频补全

    本文介绍了一种新的基于流的视频补全算法，采用提取与补全运动边缘，引入非局部流连接到时间上远离的帧中，来解决运动边界障碍问题，通过在 DAVIS 数据集上的实验证明其优于现有算法。

    Sep, 2020

  • 基于条件扩散模型的语义一致视频修复

    通过将视频修复问题作为条件生成建模问题加以解决的框架，以及利用生成方法的优势，本文展示了能够生成多样化且高质量修复效果的方法，并能够在时间、空间和语义上与给定的上下文相协调地合成新内容。

    Apr, 2024

  • 渐进式时间特征对齐网络用于视频修复

    该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法，通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题，实现了对视频内容的自然修复和优化，进而在多个数据集上获得了目前的最佳表现。

    Apr, 2021