使用 Segment Anything Model 为基础的语义感知的先验知识,通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果,并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升,同时提高了性能与参数数量平衡调整的灵活性。
May, 2023
本研究采用 Transformer 对视频超分辨率问题进行了改进,引入了空时卷积自注意力层以利用数据位置信息,设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征,实验证明了这种方法的有效性。
Jun, 2021
该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法,并设计了混合融合模块,用于聚合和提炼信息以改进空间信息和重构高质量视频帧,实验表明,我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。
Jul, 2022
引入 Cognitive Super-Resolution (CoSeR) 框架,通过融合图像外观和语言理解生成认知嵌入,激活大型文本到图像扩散模型的先前信息,并通过提供高质量参考图像优化超分辨率过程,以此修复语义正确和逼真的细节。
Nov, 2023
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023
本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法,利用空间和时间的信息来实现视频帧的超分辨率,实验证明该方法优于现有的超分辨率模型。
Apr, 2022
通过引入物理信息的神经网络,本文提出了解决空时视频超分辨率问题的方法,该方法能够准确处理大运动中的运动估计和运动补偿问题,并在固定大小和连续空时视频超分辨率任务中超过同类技术。
Apr, 2024
本研究提出了一种基于逻辑规格说明的神经符号方法 LASER,通过其可有效地训练低级感知模型以提取符合所需高级规格说明的细粒度视频表示,不仅可以学习细粒度的视频语义,而且还可以优于现有基准在下游任务中表现得更好。
Apr, 2023
本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法,利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理,使用视差注意机制融合立体视点,对新收集的 SVSR-Set 数据集进行了广泛实验,取得了与最新方法相媲美的结果。
该论文系统研究了基于深度学习的 33 种视频超分辨率方法,提出了一个分类法并将这些方法分属到六个子类中,并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性 VSR 方法的性能进行总结和比较,讨论了 VSR 领域中需要进一步研究的一些挑战。这项工作预计对 VSR 技术的深度学习方法做出贡献,从而深化我们对该领域的理解,并成为该领域中最早的系统研究之一。
Jul, 2020