CVPRMar, 2023

通过时空数据过度拟合实现高质量、高效的视频超分辨率

PDF
TL;DR利用深度卷积神经网络，结合时空信息，通过数据导向联合训练技术，实现高质量高效实时的视频超分辨率提升，相比现有技术在流媒体视频分辨率提升任务中提高了 14 倍帧率同时提高 2.29dB 的画质。
deep convolutional neural networksvideo resolution upscalingspatial-temporal informationdata-aware joint training techniquereal-time video super-resolution
发现论文，激发创造
  • 基于动态算法和编译器协同设计的设备端超分辨率中的数据过拟合

    通过动态深度神经网络辅助的内容感知数据处理管道，我们提出了一种减少模型数量的方法，以提高性能并节省计算资源，并通过编译优化实现更好的 PSNR 和实时性能，在现成的手机上实现了 1.7 倍的加速，节省了高达 1.61 倍的内存消耗。

    Jul, 2024

  • 3DSRnet：使用 3D 卷积神经网络进行视频超分辨率处理

    该论文提出了一种有效的三维卷积神经网络 3DSRnet，用于视频超分辨率，通过利用空时相干性来提高预测高分辨率帧的准确性，而且在不需要预处理的情况下优于最先进的方法，提出了一种新的处理场景变化的方法。

    Dec, 2018

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 时空网络与运动补偿的实时视频超分辨率

    本论文提出一种新的视频超分辨率算法，即同时处理多个连续视频帧的 spatio-temporal sub-pixel convolution networks，并采用了创新性的运动补偿和视频超分辨率算法，相比于单帧模型，网络可以减少 30％的计算成本同时保持相同的质量，或者在相似的计算成本下提供 0.2dB 的增益。在公开数据集上的结果表明，该算法在精度和效率方面均超过当前的最新性能。

    Nov, 2016

  • 加速视频超分辨率模型的训练

    本文提出采用多级培训策略来加速视频超分辨率模型的训练，早期阶段的模型尺寸更小。同时，使用 GPU 并行化加快培训速度。实验证明，该策略可以在保持准确率的情况下加速培训达 6.2 倍。

    May, 2022

  • 使用高效子像素卷积神经网络的实时单图像和视频超分辨率

    本文提出一种卷积神经网络，该网络的特征图在低分辨率空间中提取，使用高效的子像素卷积层将最终的低分辨率特征图升级到高分辨率输出，从而有效地将手工设计的双三次滤波器替换为针对每个特征图训练的更复杂的上采样滤波器，同时降低总体超分辨率操作的计算复杂度。该方法的实验结果表明，它在图像和视频方面的表现都比以前的基于 CNN 的方法好得多，并且速度快了一个数量级。

    Sep, 2016

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 超分辨率的深入探究：一份综述

    比较了三个经典和三个最近引入的具有挑战性的数据集上的 30 多种最先进的超分辨率卷积神经网络，提出了一种基于深度学习的超分辨率网络的分类方法，并提出了现有技术的几个缺点和未来研究方向。

    Apr, 2019

  • 学习时空下采样以实现有效的视频提升

    本文提出了一个神经网络框架，该框架能够联合学习时空下采样和上采样，并提出了两个新模块以解决时空去混叠问题和提高重建性能。实验证明，该方法显著提高了时空重构质量，并且能够应用于任意视频重采样、模糊帧重建和高效视频存储。

    Mar, 2022

  • 稀疏先验下用于图像超分辨率的深度神经网络

    本文针对图像超分辨率问题，提出一种结合传统稀疏编码模型和深度学习技术的神经网络模型，该模型在多种图像上已被证明在恢复精度和主观质量方面均优于目前现有的最先进方法。

    Jul, 2015