CVPRMar, 2022

老电影复兴计划

PDF
TL;DR本文提出了一种学习框架 —— 循环 Transformer 网络 (RTN)，用于修复破损的旧电影。该方法基于从旁边的帧中学习到的隐藏知识来进行恢复，能够有效推断划痕位置，同时保证时间连续性，利用更强大的 Transformer 块进行空间恢复，实验表明该方法优于现有的解决方案，并且可以有效地传播关键帧的颜色，最终呈现出令人信服的恢复电影。
recurrent transformer networkfilm restorationunsupervised defect localizationmixed degradationtransformer blocks
发现论文，激发创造
  • 用于语义对应的循环变压器网络

    本文提出了利用循环变压器网络（RTNs）对语义相似图像进行密集对应的方法，在迭代过程中估计图像间的空间变换，以及使用这些变换来生成对齐的卷积激活，通过直接估算两幅图像间的变换，而非独立正则化每个图像，我们证明了更高的精度可以得到，同时使用一种基于提出的分类损失的弱监督训练技术。利用 RTNs，在语义对应的多个基准测试中，实现了最先进的性能。

    Oct, 2018

  • 一种视频修复的两阶段框架的渐进式训练

    该论文提出了一种包括多帧循环网络和单帧变形器的两阶段框架，并应用多种训练策略来缩短训练时间并提高模型性能，用于处理视频修复中的图像噪声、模糊及压缩失真等问题，在 NTIRE 2022 超分辨率和压缩视频质量增强的竞赛中获得了两个冠军和一个亚军。

    Apr, 2022

  • VRT: 视频修复变换器

    本文介绍了一种基于 Transformer 的视频修复方法，利用时序信息进行跨帧高清图像恢复，在多个基准数据集上均取得了高于现有方法的表现。

    Jan, 2022

  • DeepRemaster: 时间源自注意力网络，全面提升视频质量

    提出了一种结合时间卷积神经网络和注意力机制的半交互式单一框架，用于修复陈旧影像并彩色化，其性能优于现有方法，并随视频时长和引用图像数量的增加而提高。

    Sep, 2020

  • 学习视频修复的联合时空变换

    本篇论文提出了一种基于自注意力机制和空间 - 时间转换网络的视频修复方法，通过对所有输入帧进行自注意力填充缺失区域，并提出利用空间 - 时间对抗损失进行优化的方法，从而在定量和定性方面证明了该模型的优越性。

    Jul, 2020

  • 循环视频修复变换器与引导变形注意力

    本文提出了一种鲁棒、高效的循环视频修复转换器 ——RVRT, 它将局部相邻帧在全局循环框架内并行处理，并利用 “引导变形关注” 跨片段对齐预测多个相关位置，在基准数据集上达到了最先进的性能。

    Jun, 2022

  • 让老照片重焕生机

    使用深度学习方法，借助真实旧照片和大量合成照片对，提出一种新的三元域翻译网络，可以恢复多种损坏类型的旧照片。与现有方法相比，在视觉质量方面，所提出的方法表现更好。

    Apr, 2020

  • 视频变形网络

    本文提出了一种基于 Transformer 的视频识别框架 VTN，它相比于传统的 3D ConvNets，通过整个视频序列的注意力机制实现动作分类，并在训练和推断时分别快 16.1 倍和 5.1 倍，同时在 Kinetics-400 数据集上获得了有竞争力的结果，表明了精度和推断速度之间的权衡。

    Feb, 2021

  • 利用深层潜变空间翻译技术进行老照片修复

    本论文提出通过深度学习方法恢复老照片的视觉效果，利用三元组领域转换网络，以及多种自然特征恢复的方法，优于现有方法和商业工具。

    Sep, 2020

  • 面向在线实时基于内存的视频修复变换

    通过适应现有修复变换器的框架，我们提出了一种适应于实时视频的视频修复方法，以维持良好的修复质量，同时通过记忆和改进冗余计算来提高传输速率。

    Mar, 2024