Jul, 2024

基于全局时空信息的残差ConvLSTM视频时空超分辨率

HTML
PDF
TL;DR通过将低帧率、低分辨率的视频转换为高帧率、高分辨率的视频，时空视频超分辨率技术可以增强视觉体验，并促进更高效的信息传播。我们提出了一种用于时空视频超分辨率的卷积神经网络 (CNN)，即GIRNet。通过将具有变形卷积、全局空时信息残差卷积长短期记忆 (convLSTM) 模块的特征级时序插值模块集成到所提出的网络中，以生成高度准确的特征从而提高性能。实验证明，该方法在峰值信噪比、结构相似性指数以及视觉方面优于现有技术。
发现论文，激发创造
  • 时空网络与运动补偿的实时视频超分辨率

    本论文提出一种新的视频超分辨率算法，即同时处理多个连续视频帧的spatio-temporal sub-pixel convolution networks，并采用了创新性的运动补偿和视频超分辨率算法，相比于单帧模型，网络可以减少30％的计算成本同时保持相同的质量，或者在相似的计算成本下提供0.2dB的增益。在公开数据集上的结果表明，该算法在精度和效率方面均超过当前的最新性能。

    Nov, 2016

  • 3DSRnet：使用3D卷积神经网络进行视频超分辨率处理

    该论文提出了一种有效的三维卷积神经网络3DSRnet，用于视频超分辨率，通过利用空时相干性来提高预测高分辨率帧的准确性，而且在不需要预处理的情况下优于最先进的方法，提出了一种新的处理场景变化的方法。

    Dec, 2018

  • 视频超分辨率的快速时空残差网络

    本研究提出一种新的快速时空残差网络（FSTRN），以采用3D卷积进行视频超分辨率任务，以增强性能并保持低计算负载，并通过基于交叉空间的残余学习来减轻特征融合和提升部分的计算机负担， 并且在基准数据集上的广泛评估和比较验证了所提出方法的优点，并证明了所提出的网络显着优于当前最先进的方法。

    Apr, 2019

  • 时空感知多分辨率视频增强

    本文提出了一个名为STARnet的模型，旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题，并利用时间和空间之间相互信息关系的优势，提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。

    Mar, 2020

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用“时间调制网络”的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的STVSR方法。

    Apr, 2021

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间-时间变换器的方法来解决空间-时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 回头看和向前看：明确时间差建模的视频超分辨率

    本文提出一种基于时间差建模的视频超分辨率方法，通过不同的接受野分别处理两个像素子集以提取互补信息，并计算高频域中连续帧的差异来利用中间结果进一步增强SR结果

    Apr, 2022

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • HR-INR: 基于事件相机的连续时空视频超分辨率

    提出了一种基于INR的新型连续时空视频超分辨率（C-STVSR）框架，通过事件相机捕捉全局依赖性和区域运动，利用时空嵌入捕捉长期依赖性，从而提高视频分辨率和帧率。

    May, 2024