CVPRMar, 2020

时空感知多分辨率视频增强

PDF
TL;DR本文提出了一个名为 STARnet 的模型，旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题，并利用时间和空间之间相互信息关系的优势，提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。
space-time super-resolutionvideo framesstarnetmotionpixel alignment
发现论文，激发创造
  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • VideoINR：学习视频隐式神经表示实现连续的时空超分辨率

    本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架，支持任意空间分辨率和帧率的 STVSR，相比之前的方法在超出训练分布范围的数据上表现出更好的性能，这对提高视频质量有着很大的实际意义。

    Jun, 2022

  • 深度时空视频上采样网络

    本文提出了一种利用端到端深度学习网络框架，有效地融合视频超分辨率和帧插值，以实现时空视频上采样的新方法，通过提出的加权方案，在不需要显式运动补偿的情况下有效地融合输入帧，相较于基线模型，在减少计算时间（加快了 7 倍）和参数数量（减少 30%）的同时，实现更好的定量和定性结果。

    Apr, 2020

  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用 “时间调制网络” 的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的 STVSR 方法。

    Apr, 2021

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 快速准确的一阶空时视频超分辨率：缩放慢动作

    本文提出了一个一阶段时空视频超分辨率框架，该框架通过特征时间插值网络进行局部时间上下文的丢失 LR 视频帧，然后提出了一个可变形 ConvLSTM 来对齐和聚合全局时空信息，并最终采用深度重建网络预测 HR 慢动作视频帧。经实验证明，该方法不仅实现了更好的定量和定性性能，而且比最近的两阶段最先进方法 (DAIN + EDVR 和 DAIN + RBPN) 更快三倍以上。

    Feb, 2020

  • 跨尺度和跨维度：使用深度内部学习进行时间超分辨率

    本文提出了一种基于 Deep Internal Learning 的 Temporal Super-Resolution 方法，利用小空间时间片段内部的强烈重复性，从而在不使用任何其他数据集的情况下，实现了复杂视频的零成本 Temporal Super-Resolution，有效消除运动模糊和运动混叠效果，并超越了以往依赖于外部数据集进行训练的监督方法。

    Mar, 2020

  • 利用低分辨率光流和掩膜上采样的高效空时视频超分辨率

    本文提出了一种高效的时空超分辨率方法，结合视频超分辨率和视频帧插值模型，通过利用二次建模的低分辨率空间插值和基于双线性上采样的高分辨率合成方法，在 REDS STSR 验证集中优于当前最先进的模型。

    Apr, 2021