本文提出了一个名为 STARnet 的模型,旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题,并利用时间和空间之间相互信息关系的优势,提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。
Mar, 2020
提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题,相比于基于卷积神经网络的方法,这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率,而是只使用一个端到端的转换器架构,并且具有更快的推理速度和更少的参数。
Mar, 2022
通过引入物理信息的神经网络,本文提出了解决空时视频超分辨率问题的方法,该方法能够准确处理大运动中的运动估计和运动补偿问题,并在固定大小和连续空时视频超分辨率任务中超过同类技术。
Apr, 2024
本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架,支持任意空间分辨率和帧率的 STVSR,相比之前的方法在超出训练分布范围的数据上表现出更好的性能,这对提高视频质量有着很大的实际意义。
Jun, 2022
该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法,并设计了混合融合模块,用于聚合和提炼信息以改进空间信息和重构高质量视频帧,实验表明,我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。
Jul, 2022
提出了一种基于 INR 的新型连续时空视频超分辨率(C-STVSR)框架,通过事件相机捕捉全局依赖性和区域运动,利用时空嵌入捕捉长期依赖性,从而提高视频分辨率和帧率。
May, 2024
本文提出了一个一阶段时空视频超分辨率框架,该框架通过特征时间插值网络进行局部时间上下文的丢失 LR 视频帧,然后提出了一个可变形 ConvLSTM 来对齐和聚合全局时空信息,并最终采用深度重建网络预测 HR 慢动作视频帧。经实验证明,该方法不仅实现了更好的定量和定性性能,而且比最近的两阶段最先进方法 (DAIN + EDVR 和 DAIN + RBPN) 更快三倍以上。
Feb, 2020
本文提出了一种基于 Deep Internal Learning 的 Temporal Super-Resolution 方法,利用小空间时间片段内部的强烈重复性,从而在不使用任何其他数据集的情况下,实现了复杂视频的零成本 Temporal Super-Resolution,有效消除运动模糊和运动混叠效果,并超越了以往依赖于外部数据集进行训练的监督方法。
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023
本文提出了一种使用 “时间调制网络” 的方法,结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索,以提高低分辨率和低帧率视频的空间和时间分辨率,实验结果表明,该方法的性能优于现有的 STVSR 方法。
Apr, 2021