Dec, 2018

TDAN：视频超分辨率的时间可变对齐网络

PDF
TL;DR本文提出了一种基于时间变形对齐网络的视频超分辨率模型，它可以在不需要光流计算的情况下，通过学习参考帧和支持帧的特征，动态预测采样卷积核的偏移来对参考帧和支持帧进行自适应对齐，从而获得高质量的超分辨率视频重建结果。
video super-resolutiontemporal alignmentdeformable alignment networkoptical flowreconstruction network
发现论文，激发创造
  • 可变形非局部网络用于视频超分辨率

    本文提出了一种新颖的变形非局部网络（DNLN），其是一种非基于光流的方法，旨在通过采用变形卷积并在特征级别提高其自适应对齐能力来恢复高质量的视频超分辨率帧。通过利用非局部结构捕捉参考帧和对齐的相邻帧之间的全局相关性并同时增强对齐帧中的所需细节，DNLN 能够实现 VSR 任务的最先进性能。

    Sep, 2019

  • 变形核卷积网络用于视频极高清晰重建

    该研究提出了一种新型基于深度学习的视频超分辨率算法 DKSAN，该算法利用了新设计的变形卷积对齐和可形变内核空间注意力模块，更好地利用了时空冗余来促进不同层之间的信息传播，并在实验中展示了比现有技术 EDVR 更好的超分辨率效果。

    Oct, 2020

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 视频超分辨率的时间建模再思考

    本文提出了一种新颖的循环残差网络模型用于视频超分辨率，该模型相比于其他几种建模方法具有更高的计算效率和更好的超分辨率效果，取得了当前最好的结果。

    Aug, 2020

  • 视频去模糊的时空可形变注意力网络

    提出了一种运用 Spatio-Temporal Deformable Attention Network (STDANet) 实现视频去模糊的方法，STDANet 不仅仅考虑图像中的流动信息，同时考虑图像中像素点的清晰度，从而使得方法得到的清晰显著提高。

    Jul, 2022

  • 通过扩散模型实现视频超分辨率中的时域一致细节合成以增强感知质量

    通过引入 Temporal Conditioning Module 和 Frame-wise Bidirectional Sampling，本文提出了一种基于 Diffusion Models 的 Video Super-Resolution 方法，显著提高了视频的感知质量。

    Nov, 2023

  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用 “时间调制网络” 的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的 STVSR 方法。

    Apr, 2021

  • SAM 是否有助于视频超分辨率？

    使用 Segment Anything Model 为基础的语义感知的先验知识，通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果，并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升，同时提高了性能与参数数量平衡调整的灵活性。

    May, 2023

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021