Apr, 2024

Raformer: 视频线路修复的冗余感知 Transformer

PDF
TL;DR通过引入新的视频镂空数据集（WRV2）和伪线状掩码（PWS），本研究提出了一种新方法 Raformer，用于解决视频镂空中电线去除的独特挑战，并在传统视频镂空数据集和 WRV2 数据集上进行了广泛实验证明 Raformer 优于其他最先进的方法。
video wire inpaintingvideo inpaintingwire removaldatasetraformer
发现论文，激发创造
  • ProPainter: 提升视频修复的传播和变换器

    通过改进的 ProPainter 框架，结合了增强的 ProPagation 和高效的 Transformer 机制，实现了视频修复的高效性和更好的效果。

    Sep, 2023

  • WavePaint: 自监督修复的高效混合器

    本文介绍了一种基于 WaveMix 的全卷积神经网络结构 WavePaint 用于图像修复，采用 2D 离散小波变换进行空间和多分辨率的令牌混合，与目前最先进的模型相比，WavePaint 模型参数更少，具有相当的泛化性。

    Jul, 2023

  • 面向在线实时基于内存的视频修复变换

    通过适应现有修复变换器的框架，我们提出了一种适应于实时视频的视频修复方法，以维持良好的修复质量，同时通过记忆和改进冗余计算来提高传输速率。

    Mar, 2024

  • 基于 Flow-Guided 技术的视频修复 Transformer

    提出了一种基于光学流的流程引导变压器，用于高保真视频修复，通过设计新颖的流完整网络来完成损坏的光流，并使用流引导变压器来合成其余的损坏区域，通过时间和空间维度解耦变压器，以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。

    Aug, 2022

  • 基于 Transformer 的图像和视频修复：当前挑战与未来方向

    本文综述了当前图像或视频修复方法，特别关注基于 Transformer 的技术，旨在突出显著改进的方法，为图像或视频修复领域的新研究者提供指南，并通过其架构配置、损伤类型和性能指标对基于 Transformer 的技术进行分类。另外，我们提出了当前挑战的整理综合，以及对图像或视频修复领域未来研究的建议。

    Jun, 2024

  • ViStripformer：一种用于多功能视频修复的令牌高效 Transformer

    本研究提出了一种名为 ViStripformer（视频 Stripformer）的 Transformer 架构，采用了时空带状注意力机制，降低了内存使用，并取得了出色的视频修复结果和快速推理时间。

    Dec, 2023

  • 针对雨雪天气去除的有效高效 Transformer

    RSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)

    Apr, 2023

  • 双向与自回归变换器的多样图像修复

    BAT-Fill 提出了一种图像修复的新框架，使用了基于 transformers 的双向自回归模型，在考虑到上下文信息的基础上修复缺失或破损的区域，使得修缮后的图片具有更好的内容多样性和视觉效果。

    Apr, 2021

  • VORNet: 对象移除的时空一致视频修复

    本文提出了一种基于深度学习的视频物体移除网络（VORNet），该方法通过结合光流修补和基于图像修补模型的方法，在时空上保持稳定性，对生成的视频进行了客观和主观评估，结果表明与现有方法相比，我们的 VORNet 在时空上生成了更加稳定的视频。

    Apr, 2019

  • 减少 Transformer 多元图像修复中的信息丢失

    提出了一种新的基于 Transformer 的框架 PUT，其中包括自动编码器 P-VQVAE 和无量化 Transformer（UQ-Transformer），以尽可能保留输入信息并消除量化所引起的信息丢失。

    May, 2022