Jan, 2024

具有掩码内外帧关注的视频超分辨率 Transformer

PDF
TL;DR通过提出一种新颖的特征级遮蔽处理框架 MIA-VSR，本文解决了 Vision Transformer 在受限设备上应用的计算负担和内存占用过大的问题，并通过详细的消融研究验证了方法的有效性和与最新技术的比较结果。
发现论文，激发创造
  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 视频超分辨率变换器中的对齐方式反思

    本文重新思考了 VSR Transformers 中对齐模块的作用，并通过实验证明，采用 patch alignment 对 VSR Transformers 的性能有助于提高。

    Jul, 2022

  • VRT: 视频修复变换器

    本文介绍了一种基于 Transformer 的视频修复方法，利用时序信息进行跨帧高清图像恢复，在多个基准数据集上均取得了高于现有方法的表现。

    Jan, 2022

  • 学习时空频率变换器进行压缩视频超分辨率

    本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法，通过在空间、时间、频率域进行自注意力机制，有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明，该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术，并且在无损和有损视频上均具有明显的视觉优势。

    Aug, 2022

  • MaxSR: 改进的 MaxViT 图像超分辨率

    提出了一种基于 MaxViT 的单图像超分辨率模型 MaxSR，通过自适应块关注和自适应网格关注来实现更好的全局自相似性建模，并取得了最新的最先进性能

    Jul, 2023

  • 基于时间组注意力的视频超分辨率

    本文提出了一种新颖的视频超分辨率方法，利用分层式的时间信息和注意力机制，在处理大幅运动的视频中具有较好的性能表现。

    Jul, 2020

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • DaBiT: 深度和模糊信息引导的变压器用于联合对焦和超分辨率

    该研究介绍了一种优化的框架，用于联合处理焦点去模糊（重新聚焦）和视频超分辨率（VSR）的任务。该方法利用新颖的映射引导变换器和图像传播，有效地利用焦点模糊的连续空间变化，并修复录像。还引入了一种流重新聚焦模块，以有效地对齐模糊和清晰领域之间的相关特征。此外，提出了一种生成合成焦点模糊数据的新技术，扩展了模型的学习能力，包括更广泛的内容。该研究通过对 DAVIS-Blur 数据集进行综合实验，证明了该方法的优越性。与现有的视频恢复方法相比，我们的方法平均峰值信噪比性能提高了 1.9dB 以上，达到了最先进的结果。我们的源代码将在此 https URL 中提供。

    Jul, 2024

  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022