CVPRMar, 2021

联合优化策略的视频缩放网络用于降采样和升采样

PDF
TL;DR本文针对视频重缩放问题展开研究，提出了基于耦合层可逆神经网络的联合优化方法，LSTM-VRN 利用时间信息进行低分辨率视频上的高频信息显式预测，MIMO-VRN 提出了一种同时降低和提高视频帧组的新策略。与基于图像的可逆模型相比，这两种方法在定量和定性结果上都优于它们，同时也比没有联合优化的视频重缩放方法表现得更好。据我们所知，这是首次尝试联合优化视频降低和提高。
video rescalingoptimizationinvertible neural networkstemporal informationupscaling
发现论文，激发创造
  • 双向任意图像缩放：联合优化和循环幂等性

    该研究提出了一种基于深度学习的单图像超分辨率模型，旨在解决任意缩放因子的问题，该模型通过联合优化其上下缩放方向，实现了双向的任意图像缩放，并在视觉感知质量方面明显优于当前的任意缩放模型。

    Mar, 2022

  • 深度时空视频上采样网络

    本文提出了一种利用端到端深度学习网络框架，有效地融合视频超分辨率和帧插值，以实现时空视频上采样的新方法，通过提出的加权方案，在不需要显式运动补偿的情况下有效地融合输入帧，相较于基线模型，在减少计算时间（加快了 7 倍）和参数数量（减少 30%）的同时，实现更好的定量和定性结果。

    Apr, 2020

  • 学习时空下采样以实现有效的视频提升

    本文提出了一个神经网络框架，该框架能够联合学习时空下采样和上采样，并提出了两个新模块以解决时空去混叠问题和提高重建性能。实验证明，该方法显著提高了时空重构质量，并且能够应用于任意视频重采样、模糊帧重建和高效视频存储。

    Mar, 2022

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 视频缩放的自条件概率学习

    本文提出了自条件概率框架的视频缩放方法，通过最大化概率来减少信息损失并保留更多有意义的信息，达到改善下游任务（如视频动作识别）、提高视频压缩效率等效果。该方法还进一步扩展到了有损视频压缩系统中，并且取得了在视频缩放、视频压缩和效率动作识别任务上的优越表现。

    Jul, 2021

  • 通过时空数据过度拟合实现高质量、高效的视频超分辨率

    利用深度卷积神经网络，结合时空信息，通过数据导向联合训练技术，实现高质量高效实时的视频超分辨率提升，相比现有技术在流媒体视频分辨率提升任务中提高了 14 倍帧率同时提高 2.29dB 的画质。

    Mar, 2023

  • 双子网和多级通讯上采样的大运动视频超分辨率

    本文提出了一种新型的深度学习神经网络算法，在视频超分辨重建中优化运动信息处理和利用，解决了普通算法在处理大运动时可能出现的不连贯结果或者伪影问题，同时改良了局部空间特征提取和显式运动估计技术，获得了比现有方法更优秀的效果。

    Mar, 2021

  • 可逆图像重缩放

    本文提出了一种新的、基于可逆双射转换的图像下采样和上采样建模方法，使用一种随机生成的潜向量来反向生成指定分布的下采样信息，提高了降采样图像的上采样表现。通过定量和定性的图像重建评估，证明了该方法在图像上采样重建方面相比现有方法有显著的改进。

    May, 2020

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 利用低分辨率光流和掩膜上采样的高效空时视频超分辨率

    本文提出了一种高效的时空超分辨率方法，结合视频超分辨率和视频帧插值模型，通过利用二次建模的低分辨率空间插值和基于双线性上采样的高分辨率合成方法，在 REDS STSR 验证集中优于当前最先进的模型。

    Apr, 2021