May, 2023

SAM 是否有助于视频超分辨率？

PDF
TL;DR使用 Segment Anything Model 为基础的语义感知的先验知识，通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果，并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升，同时提高了性能与参数数量平衡调整的灵活性。
video super-resolutionsemantic informationsegment anything modelrefinement modulealignment and fusion
发现论文，激发创造
  • 语义镜头：面向视频超分辨率的实例中心语义对齐

    该研究提出了一种基于视频语义的超分辨率方法，通过引入语义先验信息并结合像素级特征，实现了准确的帧间对齐，从而在视频超分辨率任务中获得了优于现有方法的结果。

    Dec, 2023

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 基于深度学习的视频超分辨率技术综述

    该论文系统研究了基于深度学习的 33 种视频超分辨率方法，提出了一个分类法并将这些方法分属到六个子类中，并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性 VSR 方法的性能进行总结和比较，讨论了 VSR 领域中需要进一步研究的一些挑战。这项工作预计对 VSR 技术的深度学习方法做出贡献，从而深化我们对该领域的理解，并成为该领域中最早的系统研究之一。

    Jul, 2020

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022

  • 使用隐马尔可夫模型推断利用相机原始数据进行视频超分辨率

    本文提出了一种新的 VSR 方法，采用重建模块和深度推理模块来高效利用相机传感器数据。与现有方法不同，该模型在分离超分辨率和颜色校正的过程中具有显著性能优势。

    Aug, 2020

  • MuCAN：面向视频超分辨率的多重对应聚合网络

    利用过去的多个帧重建高清视频的方法叫做视频超分辨率技术，但现有的方法无法有效利用自相似和相似模式间的关系，因此我们提出了一种新的多对多和非局部多对多聚合策略，建立了一个称为 MuCAN 的网络来解决这个问题，实现了最先进的结果。

    Jul, 2020

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • 变形核卷积网络用于视频极高清晰重建

    该研究提出了一种新型基于深度学习的视频超分辨率算法 DKSAN，该算法利用了新设计的变形卷积对齐和可形变内核空间注意力模块，更好地利用了时空冗余来促进不同层之间的信息传播，并在实验中展示了比现有技术 EDVR 更好的超分辨率效果。

    Oct, 2020

  • 双流动作识别导向视频超分辨率

    针对行动识别任务中低空间分辨率视频影响识别准确性的问题，提出了基于光流的 SR 方法和 siamese 网络的 SR 方法，对包括 UCF101 和 HMDB51 的两个数据集进行实验，并证明了我们提议的 SoSR 和 ToSR 方法在提高识别准确性方面的有效性。

    Mar, 2019