本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法,利用空间和时间的信息来实现视频帧的超分辨率,实验证明该方法优于现有的超分辨率模型。
Apr, 2022
本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法,利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理,使用视差注意机制融合立体视点,对新收集的 SVSR-Set 数据集进行了广泛实验,取得了与最新方法相媲美的结果。
通过提出一种新颖的特征级遮蔽处理框架 MIA-VSR,本文解决了 Vision Transformer 在受限设备上应用的计算负担和内存占用过大的问题,并通过详细的消融研究验证了方法的有效性和与最新技术的比较结果。
Jan, 2024
本文重新思考了 VSR Transformers 中对齐模块的作用,并通过实验证明,采用 patch alignment 对 VSR Transformers 的性能有助于提高。
Jul, 2022
本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法,通过在空间、时间、频率域进行自注意力机制,有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明,该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术,并且在无损和有损视频上均具有明显的视觉优势。
Aug, 2022
该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法,并设计了混合融合模块,用于聚合和提炼信息以改进空间信息和重构高质量视频帧,实验表明,我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。
提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题,相比于基于卷积神经网络的方法,这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率,而是只使用一个端到端的转换器架构,并且具有更快的推理速度和更少的参数。
Mar, 2022
通过引入物理信息的神经网络,本文提出了解决空时视频超分辨率问题的方法,该方法能够准确处理大运动中的运动估计和运动补偿问题,并在固定大小和连续空时视频超分辨率任务中超过同类技术。
Apr, 2024
本文介绍了一种基于 Transformer 的视频修复方法,利用时序信息进行跨帧高清图像恢复,在多个基准数据集上均取得了高于现有方法的表现。
Jan, 2022
本文研究解决现实世界中动画视频超分辨率(VSR)的难题,并揭示了实用动画 VSR 的三个关键改进:通过学习基本运算符来改进基本降质操作生成过程中的能力,使用 AVC 数据集进行综合训练和评估,以及研究有效的多尺度网络结构。我们的 AnimeSR 方法能够有效和高效地恢复现实世界中低质量的动画视频,并实现了优于以往最先进方法的性能。
Jun, 2022