CVPRApr, 2021

Zooming SlowMo：一种高效的时空视频超分辨率单阶段框架

PDF
TL;DR本文提出了一种单阶段空时视频超分辨率框架，通过特征时间插值模块临时插入缺失的低分辨率帧特征来捕捉局部的时间上下文，从而直接从低分辨率和低帧率视频中重建出高分辨率慢动作视频序列，并在广泛使用的基准测试中表现出良好的质量和速度。
space-time video super-resolutionvideo frame interpolationvideo super-resolutiondeep networkstemporal interpolation
发现论文，激发创造
  • 快速准确的一阶空时视频超分辨率：缩放慢动作

    本文提出了一个一阶段时空视频超分辨率框架，该框架通过特征时间插值网络进行局部时间上下文的丢失 LR 视频帧，然后提出了一个可变形 ConvLSTM 来对齐和聚合全局时空信息，并最终采用深度重建网络预测 HR 慢动作视频帧。经实验证明，该方法不仅实现了更好的定量和定性性能，而且比最近的两阶段最先进方法 (DAIN + EDVR 和 DAIN + RBPN) 更快三倍以上。

    Feb, 2020

  • 利用低分辨率光流和掩膜上采样的高效空时视频超分辨率

    本文提出了一种高效的时空超分辨率方法，结合视频超分辨率和视频帧插值模型，通过利用二次建模的低分辨率空间插值和基于双线性上采样的高分辨率合成方法，在 REDS STSR 验证集中优于当前最先进的模型。

    Apr, 2021

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • FISR：具有多尺度时间损失的深度联合帧插值和超分辨率

    本文提出了一个联合 VFI 和 SR 的框架，用于将 2K 30fps 的视频升级到 4K 60fps。其中，采用了一种新颖的训练方案，该方案使用多尺度时间损失对输入视频序列进行时间规范化，可以应用于任何一般的视频相关任务。通过大量实验对所提出的结构进行了深入研究。

    Dec, 2019

  • 深度时空视频上采样网络

    本文提出了一种利用端到端深度学习网络框架，有效地融合视频超分辨率和帧插值，以实现时空视频上采样的新方法，通过提出的加权方案，在不需要显式运动补偿的情况下有效地融合输入帧，相较于基线模型，在减少计算时间（加快了 7 倍）和参数数量（减少 30%）的同时，实现更好的定量和定性结果。

    Apr, 2020

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • 混合成像系统实现的深度缓慢视频重建

    使用双流视频输入提出了一个由两个阶段的深度学习系统组成的框架，包含对齐和外观估计，可以从混合视频输入中重构高分辨率的慢动作视频。

    Feb, 2020

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 透过循环隐空间传播实现高效视频超分辨率

    本文提出一种高效的视频超分辨率算法，通过引入高维潜在状态来隐式地传播帧之间的时序信息，以解决复杂的运动补偿问题和高计算负荷的限制，并且在超过 70 倍加速的同时，优于现有的最先进方法 DUF。

    Sep, 2019

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024