Jul, 2024

DaBiT: 深度和模糊信息引导的变压器用于联合对焦和超分辨率

PDF
TL;DR该研究介绍了一种优化的框架，用于联合处理焦点去模糊（重新聚焦）和视频超分辨率（VSR）的任务。该方法利用新颖的映射引导变换器和图像传播，有效地利用焦点模糊的连续空间变化，并修复录像。还引入了一种流重新聚焦模块，以有效地对齐模糊和清晰领域之间的相关特征。此外，提出了一种生成合成焦点模糊数据的新技术，扩展了模型的学习能力，包括更广泛的内容。该研究通过对 DAVIS-Blur 数据集进行综合实验，证明了该方法的优越性。与现有的视频恢复方法相比，我们的方法平均峰值信噪比性能提高了 1.9dB 以上，达到了最先进的结果。我们的源代码将在此 https URL 中提供。
发现论文，激发创造
  • 模糊插值变压器用于来自模糊图像的真实世界运动

    本文主要研究从模糊图像中恢复运动的挑战性问题，介绍了一种基于双端监督、时空对称融合策略和多尺度残差 Swin transformer 模块的模糊插值变换器（BiT）方法，提出了一个混合相机系统以收集第一个真实世界数据集，并在 Adobe240 数据集上展示其显著的优势和对真实模糊场景的泛化能力。

    Nov, 2022

  • 深度盲视频超分辨率

    本文提出了基于模糊内核建模方法的深度卷积神经网络模型，用于解决视频超分辨率问题，该模型包括运动模糊估计、运动估计和潜在图像恢复模块，实验证明该算法能够生成结构更清晰、细节更好的图像，并且性能优于当前先进的方法。

    Mar, 2020

  • 模糊感知时空稀疏变压器用于视频去模糊

    提出了一种名为 BSSTNet 的模型，它通过引入模糊图，将初始的密集注意力转化为稀疏形式，从而更全面地利用整个视频序列中的信息。BSSTNet 在变换器中使用了更长的时间窗口，利用较远帧中的信息来修复当前帧中的模糊像素，同时引入了由模糊图引导的双向特征传播，降低了由模糊帧引起的错误累积。实验结果表明，提出的 BSSTNet 在 GoPro 和 DVD 数据集上优于现有的方法。

    Jun, 2024

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 卫星视频的深度盲超分辨率

    该研究提出了一种实用的盲自适应卫星视频超分辨率算法（BSVSR），通过粗到精的方式考虑像素级模糊程度，探索更多的锐度线索，并使用金字塔空间转换模块在多层次领域中调整锐度中间特征的解空间，从而在模拟和实际卫星视频上表现出色，优于最先进的非盲和盲自适应超分辨率模型。

    Jan, 2024

  • 关于 BasicVSR++ 在视频去模糊和去噪方面的泛化

    通过将 BasicVSR++ 扩展为通用框架，本文在不同视频修复任务中取得了令人满意的效果，并证明了传播和对准对视频恢复任务的重要性。

    Apr, 2022

  • 实际应用视频去模糊：基准数据集和高效循环神经网络

    本文提出了一种基于残差稠密块和全局时空注意力模块的实时视频去模糊方法 (ESTRNN)，并提供了一个新颖的真实世界基准数据集 (BSD)，实验证明该方法在低计算成本下可以达到更好的去模糊效果比合成数据集具有更高的普适性。

    Jun, 2021

  • DynaVSR: 动态自适应盲视频超分辨率

    本研究提出 DynaVSR 框架，采用元学习技术，在实际视频 SR 场景下实现了较快速的降采样模型估计和自适应学习，并与视频 SR 网络无缝结合，实现了比现有的盲目 SR 方法更快的推理时间和更高的性能提升。

    Nov, 2020

  • 具有掩码内外帧关注的视频超分辨率 Transformer

    通过提出一种新颖的特征级遮蔽处理框架 MIA-VSR，本文解决了 Vision Transformer 在受限设备上应用的计算负担和内存占用过大的问题，并通过详细的消融研究验证了方法的有效性和与最新技术的比较结果。

    Jan, 2024

  • BSRT：利用 Swin Transformer 和流导向可变形对齐来提高爆发超分辨率

    提出了一种基于 Transformer、金字塔流引导可变卷积网络和 Swin Transformer 块的 BurstSR 体系结构，可有效地从一系列嘈杂、不对齐和低分辨率 RAW 爆发中恢复高质量图像，并在 NTIRE2022 Burst Super-Resolution Challenge 中取得了新的最佳效果。

    Apr, 2022