Mar, 2022

RSTT: 实时时空变换器用于时空视频超分辨率

PDF
TL;DR提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。
space-time video super-resolutionspatial-temporal transformerlow frame ratelow resolutionconvolutional neural network
发现论文，激发创造
  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用 “时间调制网络” 的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的 STVSR 方法。

    Apr, 2021

  • 快速准确的一阶空时视频超分辨率：缩放慢动作

    本文提出了一个一阶段时空视频超分辨率框架，该框架通过特征时间插值网络进行局部时间上下文的丢失 LR 视频帧，然后提出了一个可变形 ConvLSTM 来对齐和聚合全局时空信息，并最终采用深度重建网络预测 HR 慢动作视频帧。经实验证明，该方法不仅实现了更好的定量和定性性能，而且比最近的两阶段最先进方法 (DAIN + EDVR 和 DAIN + RBPN) 更快三倍以上。

    Feb, 2020

  • 时空感知多分辨率视频增强

    本文提出了一个名为 STARnet 的模型，旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题，并利用时间和空间之间相互信息关系的优势，提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。

    Mar, 2020

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • HR-INR: 基于事件相机的连续时空视频超分辨率

    提出了一种基于 INR 的新型连续时空视频超分辨率（C-STVSR）框架，通过事件相机捕捉全局依赖性和区域运动，利用时空嵌入捕捉长期依赖性，从而提高视频分辨率和帧率。

    May, 2024

  • Zooming SlowMo：一种高效的时空视频超分辨率单阶段框架

    本文提出了一种单阶段空时视频超分辨率框架，通过特征时间插值模块临时插入缺失的低分辨率帧特征来捕捉局部的时间上下文，从而直接从低分辨率和低帧率视频中重建出高分辨率慢动作视频序列，并在广泛使用的基准测试中表现出良好的质量和速度。

    Apr, 2021

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • VideoINR：学习视频隐式神经表示实现连续的时空超分辨率

    本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架，支持任意空间分辨率和帧率的 STVSR，相比之前的方法在超出训练分布范围的数据上表现出更好的性能，这对提高视频质量有着很大的实际意义。

    Jun, 2022

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 学习时空频率变换器进行压缩视频超分辨率

    本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法，通过在空间、时间、频率域进行自注意力机制，有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明，该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术，并且在无损和有损视频上均具有明显的视觉优势。

    Aug, 2022