Nov, 2016

时空网络与运动补偿的实时视频超分辨率

PDF
TL;DR本论文提出一种新的视频超分辨率算法，即同时处理多个连续视频帧的 spatio-temporal sub-pixel convolution networks，并采用了创新性的运动补偿和视频超分辨率算法，相比于单帧模型，网络可以减少 30％的计算成本同时保持相同的质量，或者在相似的计算成本下提供 0.2dB 的增益。在公开数据集上的结果表明，该算法在精度和效率方面均超过当前的最新性能。
发现论文，激发创造
  • 3DSRnet：使用 3D 卷积神经网络进行视频超分辨率处理

    该论文提出了一种有效的三维卷积神经网络 3DSRnet，用于视频超分辨率，通过利用空时相干性来提高预测高分辨率帧的准确性，而且在不需要预处理的情况下优于最先进的方法，提出了一种新的处理场景变化的方法。

    Dec, 2018

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 细节呈现的深度视频超分辨率

    本文提出了一种基于 CNN 框架的次像素运动补偿层方法（SPMC），通过合适的帧对齐和运动补偿提高了视频超分辨率重建的质量，且无需参数调节，最终实现了高质量的图像细节恢复。

    Apr, 2017

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 使用高效子像素卷积神经网络的实时单图像和视频超分辨率

    本文提出一种卷积神经网络，该网络的特征图在低分辨率空间中提取，使用高效的子像素卷积层将最终的低分辨率特征图升级到高分辨率输出，从而有效地将手工设计的双三次滤波器替换为针对每个特征图训练的更复杂的上采样滤波器，同时降低总体超分辨率操作的计算复杂度。该方法的实验结果表明，它在图像和视频方面的表现都比以前的基于 CNN 的方法好得多，并且速度快了一个数量级。

    Sep, 2016

  • 用于视频超分辨率的可变形三维卷积

    本文提出了一种变形 3D 卷积网络（D3Dnet）来融合来自空间和时间维度的时空信息进行视频超分辨率， 采用变形卷积与 3D 卷积相结合的方法，具有更好的时空建模能力和运动感知建模灵活性， 实验结果表明 D3D 在开发时空信息方面非常有效。

    Apr, 2020

  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用 “时间调制网络” 的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的 STVSR 方法。

    Apr, 2021

  • 通过时空数据过度拟合实现高质量、高效的视频超分辨率

    利用深度卷积神经网络，结合时空信息，通过数据导向联合训练技术，实现高质量高效实时的视频超分辨率提升，相比现有技术在流媒体视频分辨率提升任务中提高了 14 倍帧率同时提高 2.29dB 的画质。

    Mar, 2023

  • 感知视频超分辨率增强时间连续性

    本文介绍了一种基于循环对抗网络的视频放大方法，利用感知损失函数来实现高质量和时域一致性的视频放大。

    Jul, 2018

  • 具有空间 - 时间超分辨率的条件神经网络视频编码

    该研究论文提出了一个视频轨道的图像压缩方法，采用了混合编码框架以及一些新技术，包括使用 Spynet 网络进行准确的运动矢量估计，引入上下文挖掘方案以充分利用空时信息，以及整合空时超分辨率模块提高速率失真性能。

    Jan, 2024