Mar, 2024

DeblurDiNAT: 图像去模糊的轻量级有效的 Transformer

PDF
TL;DR我们提出了一种紧凑的编码器 - 解码器 Transformer 模型 DeblurDiNAT，旨在高效地从现实世界的模糊图像中恢复清晰图像。通过采用交替的空洞因子结构和通道调制的自注意力块 (CMSA)，以及快速特征传播的径路和乘法前馈网络 (DMFN)，并使用轻量级的门控特征融合 (LGFF) 模块，我们在多个图像去模糊数据集上取得了最先进的性能。相比最近的竞争者，我们的方法在参数数量减少 3%-68%、可节省时间的同时，产生了更接近真实图像的去模糊结果。
发现论文，激发创造
  • 扩张邻域注意力变换器

    本文介绍了一种新型 Hierarchical Vision Transformer，Dilated Neighborhood Attention Transformer（DiNAT）及其基于 Dilated Neighborhood Attention（DiNA）的自注意力机制，使其具备全局关联建模和扩大感受野的能力，证明 DiNAT 对常规 Hierarchical Vision Transformer 具有显著的优势，从而实现了在一些特定领域中更好的 Panoptic 分割表现。

    Sep, 2022

  • Mansformer：用于图像去模糊及其它任务的高效混合注意力转换器

    我们提出了 Mansformer，它是一种结合了多种自注意力、门控和多层感知的混合加权 Transformer，通过对张量形状和维度进行精心调整，将典型的二次复杂度自注意力分解成四次线性复杂度操作，并利用类似 Squeeze-and-Excitation Networks 的架构实现了这些不同类型自注意力的自适应融合，通过提出的门控 - dconv MLP 将两阶段的 Transformer 设计合并为一阶段，主要用于图像去模糊，经过广泛的定量和定性评估，表明该方法在远远超过简单去模糊的最先进方法方面表现出色，源代码和训练模型将提供给公众。

    Apr, 2024

  • 动态场景去模糊的深层多尺度卷积神经网络

    本文提出了一种多尺度卷积神经网络模型，用于处理不同来源的模糊，通过使用自定义的大规模数据集训练该模型，实现了在动态场景去模糊方面的卓越性能。

    Dec, 2016

  • 单幅图像除雾的视觉 Transformer

    本文提出了 DehazeFormer，一种用于图像去雾的改进模型，比传统模型具有更好的效果。模型在多个数据集上进行了实验，表明 DehazeFormer 比当前最先进的方法表现更好。此外，我们还采集了大规模实际遥感去雾数据集来评估该方法的能力。

    Apr, 2022

  • DeblurGAN-v2: 更快、更好的去模糊（数量级）

    DeblurGAN-v2 是一种基于到相对论条件 GAN 的新型端到端生成对抗网络，其采用 Feature Pyramid Network 作为生成器中的核心构建块，在单幅图像运动去模糊方面有着很高的实用价值。

    Aug, 2019

  • DDT: 双分支变形 Transformer 图像去噪

    本文提出了一种高效的 Dual-branch Deformable Transformer (DT) 去噪网络，在局部和全局分支中均应用了可变形关注机制，能够更好地捕捉图像中的局部和全局交互，并能显著减少计算成本，取得了在真实世界和合成去噪任务方面的最先进性能。

    Apr, 2023

  • SDWNet：一种基于小波变换的长径网络用于图像去模糊

    本研究提出一种使用扩张卷积和小波变换的简化网络结构来解决图像去模糊问题，通过充分利用不同的感受野，使我们的方法在训练要求较低的情况下实现了与现有算法相当的性能。

    Oct, 2021

  • 基于扩散模型的高效图像去模糊网络

    该研究介绍了一种滑动窗口模型用于解决散焦去模糊问题，使用扩散模型生成潜在的先验特征来恢复更多细节图像，并将滑动窗口策略扩展到专用的 Transformer 块以提高推理效率。此外，还对 Mac 操作进行了优化，从而降低了计算复杂性，并改善了散焦去模糊的信噪比。这种新方法可以在内存有限的设备上处理更高分辨率的图像，显著扩展了潜在应用场景。研究的最后部分对每个网络模块对最终性能的影响进行了深入分析。

    Jan, 2024

  • 变形不变神经网络及其在扭曲图像恢复和分析中的应用

    提出了一种应对图像在几何失真时的成像任务的框架 —— 变形不变神经网络（DINN），该框架利用拟保角变换器网络（QCTN）将几何失真的图像转换为更接近自然或良好图像分布的改进版本，并在图像分类和图像恢复中取得了较好的性能。

    Oct, 2023

  • Dilated-UNet：一种使用扩张变换器和 U-Net 结构的快速准确的医学图像分割方法

    介绍了 Dilated-UNet，结合了 Dilated Transformer 块和 U-Net 架构，用于快速准确地进行医学图像分割，并在多个具有挑战性的医学图像分割数据集上取得了优于其他模型的成果。

    Apr, 2023