AIM 2020 挑战赛:视频时间超分辨率
本文回顾了第一届 AIM 视频时间超分辨率(帧插值)挑战赛,并重点介绍了提出的解决方案和结果。该竞赛在涉及各种类型和强度的运动的 15 fps 视频序列中,要求挑战者通过估计中间帧提供更高帧率(60 fps)的视频序列。使用从手持相机中捕获的各种视频制成的 REDS VTSR 数据集进行培训和评估。在竞争中,有 62 位注册参与者,有 8 个团队参加了最终的测试阶段。挑战获胜方法达到了视频时间超分辨率的最高水平。
May, 2020
本文提出了一个联合 VFI 和 SR 的框架,用于将 2K 30fps 的视频升级到 4K 60fps。其中,采用了一种新颖的训练方案,该方案使用多尺度时间损失对输入视频序列进行时间规范化,可以应用于任何一般的视频相关任务。通过大量实验对所提出的结构进行了深入研究。
Dec, 2019
本文提出了一个一阶段时空视频超分辨率框架,该框架通过特征时间插值网络进行局部时间上下文的丢失 LR 视频帧,然后提出了一个可变形 ConvLSTM 来对齐和聚合全局时空信息,并最终采用深度重建网络预测 HR 慢动作视频帧。经实验证明,该方法不仅实现了更好的定量和定性性能,而且比最近的两阶段最先进方法 (DAIN + EDVR 和 DAIN + RBPN) 更快三倍以上。
Feb, 2020
提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题,相比于基于卷积神经网络的方法,这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率,而是只使用一个端到端的转换器架构,并且具有更快的推理速度和更少的参数。
Mar, 2022
本文提出了一种基于 Deep Internal Learning 的 Temporal Super-Resolution 方法,利用小空间时间片段内部的强烈重复性,从而在不使用任何其他数据集的情况下,实现了复杂视频的零成本 Temporal Super-Resolution,有效消除运动模糊和运动混叠效果,并超越了以往依赖于外部数据集进行训练的监督方法。
Mar, 2020
本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法,利用空间和时间的信息来实现视频帧的超分辨率,实验证明该方法优于现有的超分辨率模型。
Apr, 2022
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023
本论文回顾了 NTIRE 2021 年的超分辨率视频挑战赛,共 247 个和 223 个参赛者参加了赛事,14 个团队在每个赛道上竞争,以在视频 SR 任务中实现最先进的表现。主要关键词有超分辨率,计算机视觉,视频,NTIRE 2021 年挑战赛和恢复质量。
Apr, 2021
提出了一种基于 INR 的新型连续时空视频超分辨率(C-STVSR)框架,通过事件相机捕捉全局依赖性和区域运动,利用时空嵌入捕捉长期依赖性,从而提高视频分辨率和帧率。
May, 2024