Jun, 2024

学习频率感知的动态变换器用于一体化图像恢复

PDF
TL;DR该研究提出了一种全方位图像恢复方法，通过从频率角度出发，利用先进的视觉变换器来处理多种类型的退化，以提取图像的退化表示并引导模型适应性地恢复退化的图像。实验证明，该方法在去噪、去雨、去雾和去模糊等四个典型恢复任务中优于现有方法，并且能够处理空间变异的退化和未知退化水平。
all-in-one image restorationdegradation representationsfrequency perspectivevision transformersdegradation-adaptive self-attention
发现论文，激发创造
  • AdaIR：基于频率挖掘和调制的自适应综合图像恢复

    通过频域挖掘和调制，我们提出了一种自适应的全功能图像恢复网络，该网络能够根据不同的输入降解类型强调信息丰富的频带，从而实现逐步引导的恢复。广泛的实验证明，该方法在去噪、去雾、去雨、运动去模糊和低光图像增强等不同图像恢复任务上实现了最先进的性能。

    Mar, 2024

  • 灵活图像修复

    在图像修复中，人们常常希望根据指令去除特定的图像退化现象，本文提出了一种名为 TransRFIR 的新型建模方法，它通过感知图像中的不同退化类型并根据文本提示去除特定的退化，该方法基于两个设计的注意力模块，即 MHASA 和 MHACA，具有较低的计算成本和优秀的性能，可以作为图像修复的一种有效架构。

    Apr, 2024

  • 全能图像恢复的神经退化表示学习

    本研究中，我们提出了一种全能图像恢复网络，能够处理多种退化问题，通过学习神经退化表示 (NDR) 来解决多种退化数据的挑战，进一步结合退化查询模块和退化注入模块，实现了多种退化的全能恢复能力，同时采用双向优化策略来驱动 NDR 学习退化表示，我们的实验证明了该方法的有效性和泛化能力。

    Oct, 2023

  • OneRestore: 复合材料损伤的通用修复框架

    通过提出一种多功能图像模型 OneRestore，结合四个物理破坏范式以准确地表示复杂的、综合的退化情景，并利用独特的交叉关注机制和复合退化恢复损失，该框架能够以自适应、可控的方式进行场景恢复，成功地解决了复杂、综合退化问题，使其在图像修复领域显著超越了现有技术的水平。

    Jul, 2024

  • 一种全方位的多降级图像恢复网络基于层次化降级表示

    我们提出了一种全能多退化图像恢复网络 (AMIRNet)，通过聚类逐步构建树状结构，学习未知退化图像的退化表示，并利用特征转换模块 (FTB) 弥补领域差异，从而实现从各种未知失真中恢复高质量图像的目标。

    Aug, 2023

  • 混合卷积神经网络 - Transformer 结构上使用频域对比学习进行图像去雨

    图像去雨是一项具有挑战性的任务，涉及恢复受雨滴影响的退化图像。

    Aug, 2023

  • 看见无形：一种以频率提示为导向的图像修复变压器

    图像修复中的频率提示方法（FPro）通过从频率角度提供有效提示组件来引导修复模型，实现了优于其他方法的性能。

    Mar, 2024

  • 图像融合与曝光校正的整体动态频率变换器

    本文提出了一种新方法，利用频域改善和统一曝光校正任务处理，引入整体频率关注和动态频率前馈网络，用于提取全局信息和动态选择重要频带进行图像恢复。此外，采用拉普拉斯金字塔将图像分解为不同的频带，通过多个修复器分别恢复特定频带信息，最终统一了低光增强、曝光校正和多曝光融合这三个任务，并在主流数据集上取得了最先进的结果。

    Sep, 2023

  • DEFormer：低光图像和暗视觉的 DCT 驱动增强 Transformer

    该研究论文介绍了一种利用频域作为图像增强的新方法，提出了一种新颖的基于 DCT 的增强转换器（DEFormer），其中包括可学习的频率支路（LFB）和交叉域融合（CDF），并将其应用于暗部检测，使检测器的性能显著提升。

    Sep, 2023

  • 动态预训练：高效可扩展的一体化图像恢复

    通过 DyNet 动态网络设计的全能图像恢复任务模型，结合权重共享机制和动态预训练策略，在图像去噪、去雨和去雾等多种任务上取得了最新的成果，同时比基准模型减少 31.34% 的 GFlops 与 56.75% 的参数。

    Apr, 2024