本文提出了一个名为 STARnet 的模型,旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题,并利用时间和空间之间相互信息关系的优势,提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。
Mar, 2020
本文提出了一种使用 “时间调制网络” 的方法,结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索,以提高低分辨率和低帧率视频的空间和时间分辨率,实验结果表明,该方法的性能优于现有的 STVSR 方法。
Apr, 2021
本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架,支持任意空间分辨率和帧率的 STVSR,相比之前的方法在超出训练分布范围的数据上表现出更好的性能,这对提高视频质量有着很大的实际意义。
Jun, 2022
本文提出了一种可行的空时视频超分辨率(STVSR)框架,以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战,提供优异的定量测量和视觉质量表现。
Jul, 2022
该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法,并设计了混合融合模块,用于聚合和提炼信息以改进空间信息和重构高质量视频帧,实验表明,我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。
本文提出了一种利用端到端深度学习网络框架,有效地融合视频超分辨率和帧插值,以实现时空视频上采样的新方法,通过提出的加权方案,在不需要显式运动补偿的情况下有效地融合输入帧,相较于基线模型,在减少计算时间(加快了 7 倍)和参数数量(减少 30%)的同时,实现更好的定量和定性结果。
Apr, 2020
提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题,相比于基于卷积神经网络的方法,这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率,而是只使用一个端到端的转换器架构,并且具有更快的推理速度和更少的参数。
Mar, 2022
提出了一种基于 INR 的新型连续时空视频超分辨率(C-STVSR)框架,通过事件相机捕捉全局依赖性和区域运动,利用时空嵌入捕捉长期依赖性,从而提高视频分辨率和帧率。
May, 2024
本研究采用 Transformer 对视频超分辨率问题进行了改进,引入了空时卷积自注意力层以利用数据位置信息,设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征,实验证明了这种方法的有效性。
Jun, 2021
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023