CVPRJun, 2024

模糊感知时空稀疏变压器用于视频去模糊

PDF
TL;DR提出了一种名为 BSSTNet 的模型，它通过引入模糊图，将初始的密集注意力转化为稀疏形式，从而更全面地利用整个视频序列中的信息。BSSTNet 在变换器中使用了更长的时间窗口，利用较远帧中的信息来修复当前帧中的模糊像素，同时引入了由模糊图引导的双向特征传播，降低了由模糊帧引起的错误累积。实验结果表明，提出的 BSSTNet 在 GoPro 和 DVD 数据集上优于现有的方法。
video deblurringspatio-temporal transformerblur mapbidirectional feature propagationbsstnet
发现论文，激发创造
  • 视频去模糊的流引导稀疏变压器

    本文提出了一种新的视频去模糊框架，Flow-Guided Sparse Transformer（FGST），基于自注意力模块，使用光学流矫正模糊，并采用重复嵌入机制加强长时间依赖关系，结果表明 FGST 在 DVD 和 GOPRO 数据集上明显优于现有方法。

    Jan, 2022

  • DaBiT: 深度和模糊信息引导的变压器用于联合对焦和超分辨率

    该研究介绍了一种优化的框架，用于联合处理焦点去模糊（重新聚焦）和视频超分辨率（VSR）的任务。该方法利用新颖的映射引导变换器和图像传播，有效地利用焦点模糊的连续空间变化，并修复录像。还引入了一种流重新聚焦模块，以有效地对齐模糊和清晰领域之间的相关特征。此外，提出了一种生成合成焦点模糊数据的新技术，扩展了模型的学习能力，包括更广泛的内容。该研究通过对 DAVIS-Blur 数据集进行综合实验，证明了该方法的优越性。与现有的视频恢复方法相比，我们的方法平均峰值信噪比性能提高了 1.9dB 以上，达到了最先进的结果。我们的源代码将在此 https URL 中提供。

    Jul, 2024

  • 模糊插值变压器用于来自模糊图像的真实世界运动

    本文主要研究从模糊图像中恢复运动的挑战性问题，介绍了一种基于双端监督、时空对称融合策略和多尺度残差 Swin transformer 模块的模糊插值变换器（BiT）方法，提出了一个混合相机系统以收集第一个真实世界数据集，并在 Adobe240 数据集上展示其显著的优势和对真实模糊场景的泛化能力。

    Nov, 2022

  • BSRT：利用 Swin Transformer 和流导向可变形对齐来提高爆发超分辨率

    提出了一种基于 Transformer、金字塔流引导可变卷积网络和 Swin Transformer 块的 BurstSR 体系结构，可有效地从一系列嘈杂、不对齐和低分辨率 RAW 爆发中恢复高质量图像，并在 NTIRE2022 Burst Super-Resolution Challenge 中取得了新的最佳效果。

    Apr, 2022

  • 视频去模糊的时空可形变注意力网络

    提出了一种运用 Spatio-Temporal Deformable Attention Network (STDANet) 实现视频去模糊的方法，STDANet 不仅仅考虑图像中的流动信息，同时考虑图像中像素点的清晰度，从而使得方法得到的清晰显著提高。

    Jul, 2022

  • 视频去模糊的时空自适应滤波网络

    提出了一种基于 STFAN、FAC 层和重构网络的视频去模糊算法，该算法能够对存在空间变异的模糊进行对齐和去模糊，实验结果表明该算法在准确性、速度和模型大小等方面均超过当前最先进的方法。

    Apr, 2019

  • 实际应用视频去模糊：基准数据集和高效循环神经网络

    本文提出了一种基于残差稠密块和全局时空注意力模块的实时视频去模糊方法 (ESTRNN)，并提供了一个新颖的真实世界基准数据集 (BSD)，实验证明该方法在低计算成本下可以达到更好的去模糊效果比合成数据集具有更高的普适性。

    Jun, 2021

  • 视频去模糊的对抗时空学习

    利用改进的 3D 卷积对空间和时间领域进行联合建模，进而提高视频去模糊性能，在 GAN 模型中使用内容和对抗损失函数对模型进行训练，并称其为 DBLRGAN 模型，测试结果最先进。

    Mar, 2018

  • 基于混合 Transformer 的视频去模糊的长期锐利特征聚合

    提出了一种利用混合 Transformer 进行特征聚合的视频去模糊方法，该方法通过利用邻近帧和当前清晰帧恢复模糊帧，对事件驱动视频去模糊也有优秀表现。

    Sep, 2023

  • 展翅高飞：一种用于图像去模糊的辐射带变形器

    探索运动信息在运动去模糊任务中的重要性，最近基于窗口的 Transformer 方法在图像去模糊中取得了不错的性能。然而，这些方法只是在笛卡尔坐标系中直接探索平移运动，而无法建模旋转部分，因此我们引入了基于极坐标的 Transformer 来解决这个问题，并提出了一个基于极坐标系统而非笛卡尔系统的 Radial Strip Transformer 架构，该架构通过动态径向嵌入模块来提取浅层特征，以及通过极向条纹注意力求解器来提取深度特征，实验结果表明我们的方法在图像去模糊任务中的性能优于其他最先进方法。

    Mar, 2024