视频超分辨率变换器中的对齐方式反思
本研究采用 Transformer 对视频超分辨率问题进行了改进,引入了空时卷积自注意力层以利用数据位置信息,设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征,实验证明了这种方法的有效性。
Jun, 2021
本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法,利用空间和时间的信息来实现视频帧的超分辨率,实验证明该方法优于现有的超分辨率模型。
Apr, 2022
通过提出一种新颖的特征级遮蔽处理框架 MIA-VSR,本文解决了 Vision Transformer 在受限设备上应用的计算负担和内存占用过大的问题,并通过详细的消融研究验证了方法的有效性和与最新技术的比较结果。
Jan, 2024
该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法,并设计了混合融合模块,用于聚合和提炼信息以改进空间信息和重构高质量视频帧,实验表明,我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。
Jul, 2022
该研究介绍了一种优化的框架,用于联合处理焦点去模糊(重新聚焦)和视频超分辨率(VSR)的任务。该方法利用新颖的映射引导变换器和图像传播,有效地利用焦点模糊的连续空间变化,并修复录像。还引入了一种流重新聚焦模块,以有效地对齐模糊和清晰领域之间的相关特征。此外,提出了一种生成合成焦点模糊数据的新技术,扩展了模型的学习能力,包括更广泛的内容。该研究通过对 DAVIS-Blur 数据集进行综合实验,证明了该方法的优越性。与现有的视频恢复方法相比,我们的方法平均峰值信噪比性能提高了 1.9dB 以上,达到了最先进的结果。我们的源代码将在此 https URL 中提供。
Jul, 2024
使用 Segment Anything Model 为基础的语义感知的先验知识,通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果,并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升,同时提高了性能与参数数量平衡调整的灵活性。
May, 2023
本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法,利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理,使用视差注意机制融合立体视点,对新收集的 SVSR-Set 数据集进行了广泛实验,取得了与最新方法相媲美的结果。
Apr, 2022
本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法,通过在空间、时间、频率域进行自注意力机制,有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明,该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术,并且在无损和有损视频上均具有明显的视觉优势。
Aug, 2022