Apr, 2021

BasicVSR++：通过增强传播和对齐提高视频超分辨率

PDF
TL;DR通过提出二阶网格传递和流引导可变对齐的方法重新设计 BasicVSR，强化循环框架，更有效地利用错位视频帧中的时空信息和对齐，使模型更好地推广到其他视频恢复任务中，如压缩视频增强。在类似的计算限制下，BasicVSR++ 的 PSNR 比 BasicVSR 高 0.82db。
发现论文，激发创造
  • 关于 BasicVSR++ 在视频去模糊和去噪方面的泛化

    通过将 BasicVSR++ 扩展为通用框架，本文在不同视频修复任务中取得了令人满意的效果，并证明了传播和对准对视频恢复任务的重要性。

    Apr, 2022

  • BasicVSR: 视频超分辨率及其关键组件的探索

    通过使用传播、对准、聚合和上采样 4 个基本功能为指导，本研究重新考虑了 VSR 的一些关键内容，并展示了一个称为 BasicVSR 的简明流程，在与许多现有算法相比，实现了在速度和恢复质量方面的显着提高。通过系统分析来解释如何获得这种增益以及讨论缺陷，通过提供信息补充机制和耦合传播方案展示了 BasicVSR 的可扩展性，同时提出一种名为 IconVSR 的扩展。

    Dec, 2020

  • 透过循环隐空间传播实现高效视频超分辨率

    本文提出一种高效的视频超分辨率算法，通过引入高维潜在状态来隐式地传播帧之间的时序信息，以解决复杂的运动补偿问题和高计算负荷的限制，并且在超过 70 倍加速的同时，优于现有的最先进方法 DUF。

    Sep, 2019

  • 协同反馈判别传播的视频超分辨率

    我们提出了一种协作反馈辨别（CFD）方法来纠正对齐特征的不准确性，并对更好的视频重建建模长程的空间和时间信息。定量和定性实验表明，我们的方法可以改善现有 VSR 模型的性能，同时保持较低的模型复杂性。

    Apr, 2024

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 研究实际视频超分辨率中的权衡

    通过图像预处理，设计了一种在处理现实世界视频超分辨率中平衡细节合成和伪影抑制的 RealBasicVSR 模型，并且提出了一种随机退化方案来降低训练时间，同时使用更长序列代替更大批次进行训练以提高模型的稳定性。此外，还创建了新的 VideoLQ 数据集来作为基准测试的公共基础。

    Nov, 2021

  • TMP：在线视频超分辨率的时域动作传播

    提出了一种高效的时间运动传播（TMP）方法，利用运动场的连续性实现连续帧之间的快速像素级对齐，通过先前帧的偏移向当前帧传播，并在邻域内进行进一步调整，同时对扭曲特征进行空间加权，以增强对齐的鲁棒性。

    Dec, 2023

  • SAM 是否有助于视频超分辨率？

    使用 Segment Anything Model 为基础的语义感知的先验知识，通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果，并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升，同时提高了性能与参数数量平衡调整的灵活性。

    May, 2023

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021