ECCVAug, 2022

基于 Flow-Guided 技术的视频修复 Transformer

PDF
TL;DR提出了一种基于光学流的流程引导变压器，用于高保真视频修复，通过设计新颖的流完整网络来完成损坏的光流，并使用流引导变压器来合成其余的损坏区域，通过时间和空间维度解耦变压器，以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。
flow-guided transformeroptical flowsvideo inpaintingmotion discrepancytransformer
发现论文，激发创造
  • 基于变压器的视频修补中利用光流指导

    提出 Flow-guided transformer plus (FGT++) 模型，通过轻量级的流完成网络、流引导功能模块及时空维度分离 MHSA 机制等方式，提高视频修复的效率与效果。

    Jan, 2023

  • 深度流引导视频修复

    本文提出了一种新颖的视频修复方法，使用 Deep Flow Completion 网络综合光流场来引导像素填充，从而保证了视频内容的时空连贯性，并在 DAVIS 和 YouTube-VOS 数据集上取得了最优的修复质量和速度。

    May, 2019

  • 流引导视频修复的端到端框架

    本文提出了一种 End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) 方法，该方法通过三个可训练模块的设计实现了光流的流程化。 实验结果表明，该方法在质量和效率上都优于现有的方法。

    Apr, 2022

  • 使用流变换器进行视频帧插值

    我们提出了一种视频帧插值流 Transformer 的方法，通过将运动动态从光流中引入自注意机制，使得我们的框架适用于插值具有大运动的帧，同时保持相对较低的复杂性，并通过构建多尺度架构来提高整体性能，实验证明该方法能够生成比现有方法更好视觉质量的插值帧。

    Jul, 2023

  • 渐进式时间特征对齐网络用于视频修复

    该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法，通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题，实现了对视频内容的自然修复和优化，进而在多个数据集上获得了目前的最佳表现。

    Apr, 2021

  • ProPainter: 提升视频修复的传播和变换器

    通过改进的 ProPainter 框架，结合了增强的 ProPagation 和高效的 Transformer 机制，实现了视频修复的高效性和更好的效果。

    Sep, 2023

  • 视频修复的流引导扩散算法

    Flow-Guided Diffusion model significantly enhances temporal consistency and inpainting quality in video inpainting by employing optical flow and a model-agnostic flow-guided latent interpolation technique.

    Nov, 2023

  • 视频去模糊的流引导稀疏变压器

    本文提出了一种新的视频去模糊框架，Flow-Guided Sparse Transformer（FGST），基于自注意力模块，使用光学流矫正模糊，并采用重复嵌入机制加强长时间依赖关系，结果表明 FGST 在 DVD 和 GOPRO 数据集上明显优于现有方法。

    Jan, 2022

  • 流引导视频修复的误差补偿框架

    本研究提出了基于流场引导的视频修复的误差补偿框架（ECFVI），通过设计新的流场完备模块和误差补偿网络，提高视频修复的时间连贯性和视觉质量，并通过新的基准测试数据集对所提出方法的高效性进行了支持。

    Jul, 2022

  • 基于 Transformer 的图像和视频修复：当前挑战与未来方向

    本文综述了当前图像或视频修复方法，特别关注基于 Transformer 的技术，旨在突出显著改进的方法，为图像或视频修复领域的新研究者提供指南，并通过其架构配置、损伤类型和性能指标对基于 Transformer 的技术进行分类。另外，我们提出了当前挑战的整理综合，以及对图像或视频修复领域未来研究的建议。

    Jun, 2024