Mar, 2024

视频超分辨率的时间序列初始化和调整：使用循环神经网络进行视频无关稳定

PDF
TL;DR本研究提出了一种适用于视频超分辨率的循环神经网络（RNN）的训练策略，该策略可以有效和稳定地工作，与视频长度和动态性无关。通过训练一个 VSR 网络，该方法通过改变不同的 RNN 隐藏状态来稳定 VSR，并通过复用隐藏状态以降低计算成本。此外，通过帧数条件进一步提高训练稳定性。实验结果表明，所提方法在不同长度和动态性的视频中比基准方法表现更好。
recurrent neural networkvideo super resolutiontraining strategyrnn hidden statesframe-number conditioning
发现论文，激发创造
  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 加速视频超分辨率模型的训练

    本文提出采用多级培训策略来加速视频超分辨率模型的训练，早期阶段的模型尺寸更小。同时，使用 GPU 并行化加快培训速度。实验证明，该策略可以在保持准确率的情况下加速培训达 6.2 倍。

    May, 2022

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • AnimeSR：学习用于动画视频的真实世界超分辨率模型

    本文研究解决现实世界中动画视频超分辨率（VSR）的难题，并揭示了实用动画 VSR 的三个关键改进：通过学习基本运算符来改进基本降质操作生成过程中的能力，使用 AVC 数据集进行综合训练和评估，以及研究有效的多尺度网络结构。我们的 AnimeSR 方法能够有效和高效地恢复现实世界中低质量的动画视频，并实现了优于以往最先进方法的性能。

    Jun, 2022

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 带有循环结构细节网络的视频超分辨率

    提出了一种基于循环的视频超分辨率方法，该方法有效地利用了前一帧的信息来超分辨率当前帧，包括两个流结构 - 细节块和隐状态适应模块，并在基准数据集上优于最先进的方法。

    Aug, 2020

  • 双状态循环网络图像超分辨率

    本文提出了 Dual-State Recurrent Network (DSRN) 来进行图像超分辨率重建。与现有单状态的 SR 不同的是，DSRN 基于一种精简的序列记忆结构，在 LR 和 HR 信号两者之间进行交互记忆和信息反馈，可以有效提升 SR 的预测精度，降低内存消耗。

    May, 2018

  • 基于深度学习的视频超分辨率技术综述

    该论文系统研究了基于深度学习的 33 种视频超分辨率方法，提出了一个分类法并将这些方法分属到六个子类中，并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性 VSR 方法的性能进行总结和比较，讨论了 VSR 领域中需要进一步研究的一些挑战。这项工作预计对 VSR 技术的深度学习方法做出贡献，从而深化我们对该领域的理解，并成为该领域中最早的系统研究之一。

    Jul, 2020

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 在残差网络中使用分组残差的视频超分辨率

    超分辨率技术能够提高图像 / 视频内容的名义分辨率，并提高质量。本文提出了一种用于视频超分辨率的分组残差网络（GRRN），通过调整其超参数，训练了三个具有不同参数数量的网络，并将其定量和定性结果与现有方法进行了比较，尽管 GRRN 在一些定量标准上不及现有方法，但在输出图像的质量方面表现仍然可接受。

    Oct, 2023