ICCVApr, 2019

3D 门控卷积和时间 PatchGAN 技术实现的自由形式视频修复

PDF
TL;DR本研究提出了一种基于深度学习的自由形式视频修复模型，采用 3D 时域门控卷积和新颖的时间 PatchGAN loss 解决非重复的结构物体遮挡及时间上的一致性问题，并通过收集视频并设计自由形式掩膜生成算法来构建 FVI 数据集，该模型被证明优于现有方法，特别适用于文字去除等视频编辑方向。
free-form video inpaintingdeep learning3d gated convolutionstemporal patchgan lossvideo editing
发现论文，激发创造
  • 门控卷积自由形式图像修复

    本文提出了一种建基于门控卷积的生成式图像修复系统，用于完成自由形状掩码和引导的图片修复任务。所提出的门控卷积解决了通用卷积中将所有输入像素视为有效像素的问题，并提供了一种可学习的动态特征选择机制，以适应于每个通道和空间位置上的输入。作者还提出了一种名为 SN-PatchGAN 的基于图像块的 GAN 损失，可以应用于自由形状掩码和根据用户指导进行图像扩展，并证明所提出的方法比以往任何方法都更加高质量和灵活性。

    Jun, 2018

  • 深度视频修复

    本文提出了一种基于深度学习的快速视频修复网络，结合图像编解码模型，利用邻帧信息综合填充未知视频区域，并运用循环反馈和时间存储模块确保输出的时空连续性，与之前的视频修复方法相比，其结果更为语义正确和时空平滑，且可用于视频重定向任务并生成优质视觉效果。

    May, 2019

  • 复杂场景视频修复

    这篇论文提出了一种基于全局、基于补丁的功能的自动视频修复算法，可以处理动态纹理、多个移动对象和移动背景等挑战情况，并在执行时间方面比现有技术快一个数量级。最终的算法不需要分割或手动输入，只需要定义修复遮罩即可，并且能够处理比以前的工作更广泛的情况。

    Mar, 2015

  • 基于 GAN 的面部视频修复中的现实地标导向

    本研究中我们提出了一种用于表情驱动的视频修复的网络，利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像，并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复，为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。

    Feb, 2024

  • 基于深度学习的图像和视频修复研究综述

    通过深度学习，对于图像和视频修复的基于深度学习的方法进行综合评述，并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时，讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用，并探讨了公开挑战和未来可能的研究方向。

    Jan, 2024

  • 深度流引导视频修复

    本文提出了一种新颖的视频修复方法，使用 Deep Flow Completion 网络综合光流场来引导像素填充，从而保证了视频内容的时空连贯性，并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。

    May, 2019

  • 基于条件扩散模型的语义一致视频修复

    通过将视频修复问题作为条件生成建模问题加以解决的框架，以及利用生成方法的优势，本文展示了能够生成多样化且高质量修复效果的方法，并能够在时间、空间和语义上与给定的上下文相协调地合成新内容。

    Apr, 2024

  • 通过联合学习时空结构和空间细节进行视频修复

    本文提出了一种新的基于数据驱动的视频修复方法，采用了深度学习的网络结构，包含了两个子网络，一个是基于 3D 完全卷积的时间结构推断网络，另一个是二维全卷积网络的空间细节修复网络，该方法能够更好的恢复缺失的区域，并且其效果优于以往的视频修复方法。

    Jun, 2018

  • 视频外绘的分层掩码三维扩散模型

    视频外延的研究中，我们引入了一种基于遮罩的三维扩散模型，在保持填充区域的时间连续性方面，通过使用遮罩建模技术训练模型，利用多个引导帧连接多个视频剪辑推理结果，确保了时间连续性，并减少相邻帧之间的抖动。另外，我们通过交叉注意力，以全局帧为提示，引导模型获取当前视频剪辑之外的信息。同时，我们还引入了混合的由粗到细的推理流程来缓解伪影积累问题，与现有的只使用填充策略的由粗到细流程不同，我们的流程可以通过遮罩建模的双向学习，在生成稀疏帧时采用填充与插值的混合策略。实验证明我们的方法在视频外延任务中实现了最先进的结果。更多结果请参阅我们的此 URL。

    Sep, 2023

  • 视频修复的流引导扩散算法

    Flow-Guided Diffusion model significantly enhances temporal consistency and inpainting quality in video inpainting by employing optical flow and a model-agnostic flow-guided latent interpolation technique.

    Nov, 2023