RAMiT: 轻量级图像恢复的互相关注混合 Transformer

May, 2023

RAMiT: 轻量级图像恢复的互相关注混合 Transformer

RAMiT: Reciprocal Attention Mixing Transformer for Lightweight Image Restoration

Haram Choi, Cheolwoong Na, Jihyeon Oh, Seungjae Lee, Jinseop Kim...

TL;DR提出了一种轻量级图像恢复网络 Reciprocal Attention Mixing Transformer (RAMiT)，使用双向维度互相注意力混合 Transformer (D-RAMiT) 块进行计算，结合层次互补的双向关注混合层（H-RAMi），并将其与 MobileNet V1 和 V2 相结合，取得了包括超分辨率，去色噪音，低光增强和去雨等在内的多个任务的最新性能。

Abstract

Although many recent works have made advancements in the image restoration (IR) field, they often suffer from an excessive number of parameters. Another issue is that most Transformer-based IR methods focus only on either local or global features, leading to limited receptive fields or

image restoration transformer-based methods bi-dimensional attentions pixel-level information losses mobilenet

发现论文，激发创造

RAMS-Trans: 基于循环注意力多尺度变换器进行细粒度图像识别

通过使用注意力权重来测量原始图像对应的补丁符记的重要性，我们提出了递归注意力多尺度转换器 (RAMS-Trans)，它使用变压器的自我注意力以多尺度的方式递归地学习区分地区的注意力。

Jul, 2021

IMRAM: 交替匹配循环注意力记忆模型用于跨模态图像 - 文本检索

本文提出一种迭代匹配循环注意力存储（IMRAM）的方法，用于捕捉图像和文本之间的细粒度对应关系，表现出了最先进的性能。

Mar, 2020

高效反色调映射的轻量级改进残差网络

通过改进的残差网络 (IRNet) 提出了一种轻量级的反转色调映射 (ITM) 方法，使用新的改进残差块 (IRB) 提取和融合多层特征进行高动态范围图像的重建，实验结果显示 IRNet 在 ITM 和联合 SR-ITM 任务上达到了最先进的性能水平。

Jul, 2023

注意力可收缩变换器用于精确图像恢复

本文提出了 Attention Retractable Transformer (ART) 用于图像修复任务，通过在网络中使用稠密和稀疏注意力模块，实现更广泛的接受域并提高了 Transformer 的表征能力。大量实验结果验证了该方法在各种基准数据集上的优越性。

Oct, 2022

RMT：记忆网络与视觉转换器的结合

我们结合了 RetNet 和 Transformer 提出了 RMT，通过引入显式衰减和空间先验知识的方式，使得 RMT 在计算机视觉任务中表现出卓越的性能。

Sep, 2023

图像恢复的增强 - multi-attention 方法

我们提出了 Diverse Restormer（DART），一种新颖的图像修复方法，通过有效地整合来自各种来源（长序列、局部和全局区域、特征维度和位置维度）的信息，解决了修复挑战。我们的方法利用了 Transformer 模型在图像修复方面的卓越性能以及注意力机制方面的最新进展，采用定制化的注意力机制增强了整体性能。DART 是我们的新型网络架构，利用窗口化注意力机制模拟了人眼的选择性聚焦机制。通过动态调整接受域，它能够最佳地捕捉对图像分辨率重建至关重要的基本特征。通过引入长序列图像修复的 LongIR 注意力机制，实现了效率和性能的平衡。在特征和位置维度上整合注意力机制能够进一步提高对精细细节的恢复。在五个修复任务上的评估稳定地将 DART 置于领先地位。一旦被接受，我们将致力于提供公开可访问的代码和模型，以确保可复现性并促进进一步的研究。

Apr, 2024

HAT：用于图像恢复的混合注意力变换器

Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

Sep, 2023

Transformer 中共享关键语义的高效图像修复

通过使用由专门构造的稀疏但全面的关键语义词典优化的自注意力机制，该文提出了一种增强图像恢复性能的新方法：SemanIR。通过在同一阶段内共享关键语义词典，该方法能够实现每个窗口内的线性计算复杂度，并通过实验证明了其在六个图像恢复任务中的卓越性能。

May, 2024

LIR：轻量级图像修复的高效降级去除

提出了一种轻量级图像恢复网络 LIR，通过高效的自适应关注 (EAA) 模块实现了去除图像降噪、模糊等的目的，同时比现有网络在参数和计算量上更高效且产生更接近人眼感知的视觉效果。

Feb, 2024

DRT：轻量级单图像去雨递归 Transformer

该研究介绍了基于递归本地窗口自注意力结构的残差连接的递归变压器 (DRT) 的使用，该模型在低级计算机视觉任务的执行过程中需要少量的计算资源，而不需要有意地针对降雨设计；实验证明，它也可用于其他图像恢复任务，且可以达到有竞争力的结果。

Apr, 2022