本文提出了一种鲁棒、高效的循环视频修复转换器 ——RVRT, 它将局部相邻帧在全局循环框架内并行处理,并利用 “引导变形关注” 跨片段对齐预测多个相关位置,在基准数据集上达到了最先进的性能。
Jun, 2022
本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法,利用空间和时间的信息来实现视频帧的超分辨率,实验证明该方法优于现有的超分辨率模型。
Apr, 2022
本研究采用 Transformer 对视频超分辨率问题进行了改进,引入了空时卷积自注意力层以利用数据位置信息,设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征,实验证明了这种方法的有效性。
Jun, 2021
该论文提出了一种包括多帧循环网络和单帧变形器的两阶段框架,并应用多种训练策略来缩短训练时间并提高模型性能,用于处理视频修复中的图像噪声、模糊及压缩失真等问题,在 NTIRE 2022 超分辨率和压缩视频质量增强的竞赛中获得了两个冠军和一个亚军。
通过提出一种新颖的特征级遮蔽处理框架 MIA-VSR,本文解决了 Vision Transformer 在受限设备上应用的计算负担和内存占用过大的问题,并通过详细的消融研究验证了方法的有效性和与最新技术的比较结果。
Jan, 2024
本文重新思考了 VSR Transformers 中对齐模块的作用,并通过实验证明,采用 patch alignment 对 VSR Transformers 的性能有助于提高。
Jul, 2022
提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题,相比于基于卷积神经网络的方法,这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率,而是只使用一个端到端的转换器架构,并且具有更快的推理速度和更少的参数。
Mar, 2022
本研究提出了一种名为 ViStripformer(视频 Stripformer)的 Transformer 架构,采用了时空带状注意力机制,降低了内存使用,并取得了出色的视频修复结果和快速推理时间。
Dec, 2023
本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法,通过在空间、时间、频率域进行自注意力机制,有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明,该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术,并且在无损和有损视频上均具有明显的视觉优势。
Aug, 2022
本文提出了一个基于局部时空分离的有效空间 - 时间注意机制的 Transformer 块,用于视频未来帧预测,并构建了一个全自回归视频未来帧预测 Transformer 框架,另外还提出了一个非自回归视频预测 Transformer 框架,并引入对比特征损失来监督模型预测过程。本文是第一个在不同场景下对这两种基于注意力的视频未来帧预测模型进行正式比较的工作,所提出的模型在性能上与更复杂的现有模型竞争力相当。