CVPRApr, 2022

一种视频修复的两阶段框架的渐进式训练

PDF
TL;DR该论文提出了一种包括多帧循环网络和单帧变形器的两阶段框架，并应用多种训练策略来缩短训练时间并提高模型性能，用于处理视频修复中的图像噪声、模糊及压缩失真等问题，在 NTIRE 2022 超分辨率和压缩视频质量增强的竞赛中获得了两个冠军和一个亚军。
发现论文，激发创造
  • VRT: 视频修复变换器

    本文介绍了一种基于 Transformer 的视频修复方法，利用时序信息进行跨帧高清图像恢复，在多个基准数据集上均取得了高于现有方法的表现。

    Jan, 2022

  • 多阶段渐进式图像修复

    该研究提出了一种名为 MPRNet 的多阶段架构，使用编码器 - 解码器架构学习上下文信息和高分辨率分支，结合像素自适应设计重新加权本地特征，从而实现复原图像的同时维持空间细节和上下文信息的最佳平衡，该架构在包括图像去雨、去模糊和降噪等多个任务上均表现出较强的性能表现。

    Feb, 2021

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 老电影复兴计划

    本文提出了一种学习框架 —— 循环 Transformer 网络 (RTN)，用于修复破损的旧电影。该方法基于从旁边的帧中学习到的隐藏知识来进行恢复，能够有效推断划痕位置，同时保证时间连续性，利用更强大的 Transformer 块进行空间恢复，实验表明该方法优于现有的解决方案，并且可以有效地传播关键帧的颜色，最终呈现出令人信服的恢复电影。

    Mar, 2022

  • Restormer: 高分辨率图像修复的高效 Transformer 模型

    本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。

    Nov, 2021

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 循环视频修复变换器与引导变形注意力

    本文提出了一种鲁棒、高效的循环视频修复转换器 ——RVRT, 它将局部相邻帧在全局循环框架内并行处理，并利用 “引导变形关注” 跨片段对齐预测多个相关位置，在基准数据集上达到了最先进的性能。

    Jun, 2022

  • 视频质量增强的压缩实现深度结构网络

    针对压缩视频的质量增强任务，提出了 Compression-Realize Deep Structural Network（CRDS）方法，利用经典压缩编码器结构和深度网络能力相结合的方式，引入了三种与压缩编解码器中三个主要过程相匹配的归纳偏差。通过构建预训练的潜在降级残差自编码器、精确的运动估计和残差提取以及分解质量增强为一系列简单的降噪子任务，实验证明该方法在 LDV 2.0 和 MFQE 2.0 等数据集上超越了现有模型。

    May, 2024

  • Swin2SR：用于压缩图像超分辨率与恢复的 SwinV2 Transformer

    本文采用 Swin Transformer V2 来改善图像超分辨率问题，特别是针对压缩输入情况，通过实验验证 Swin2SR 方法能显著提高 SwinIR 的性能。

    Sep, 2022

  • 面向在线实时基于内存的视频修复变换

    通过适应现有修复变换器的框架，我们提出了一种适应于实时视频的视频修复方法，以维持良好的修复质量，同时通过记忆和改进冗余计算来提高传输速率。

    Mar, 2024