ECCVAug, 2022

学习时空频率变换器进行压缩视频超分辨率

PDF
TL;DR本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法，通过在空间、时间、频率域进行自注意力机制，有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明，该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术，并且在无损和有损视频上均具有明显的视觉优势。
compressed video super-resolutionfrequency-transformerdct spectral mapsself-attentionvideo frame restoration
发现论文，激发创造
  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • 透过循环隐空间传播实现高效视频超分辨率

    本文提出一种高效的视频超分辨率算法，通过引入高维潜在状态来隐式地传播帧之间的时序信息，以解决复杂的运动补偿问题和高计算负荷的限制，并且在超过 70 倍加速的同时，优于现有的最先进方法 DUF。

    Sep, 2019

  • 基于压缩先验的视频超分辨率算法（COMISR）

    本文提出了一种新的有压缩感知的视频超分辨率模型，旨在恢复高分辨率内容而不引入压缩引起的伪影。该模型包括三个模块：双向循环变形、保留细节的流估计和拉普拉斯增强，针对包含压缩的视频的性质设计实现。经过大量实验，表明该方法不仅能从常用基准数据集中恢复未压缩帧上的高分辨率内容，而且基于许多数量化指标在超分辨压缩视频方面也达到了最先进的性能。

    May, 2021

  • 具有掩码内外帧关注的视频超分辨率 Transformer

    通过提出一种新颖的特征级遮蔽处理框架 MIA-VSR，本文解决了 Vision Transformer 在受限设备上应用的计算负担和内存占用过大的问题，并通过详细的消融研究验证了方法的有效性和与最新技术的比较结果。

    Jan, 2024

  • 通过扩散模型实现视频超分辨率中的时域一致细节合成以增强感知质量

    通过引入 Temporal Conditioning Module 和 Frame-wise Bidirectional Sampling，本文提出了一种基于 Diffusion Models 的 Video Super-Resolution 方法，显著提高了视频的感知质量。

    Nov, 2023