ICCVAug, 2023

图像超分辨率的双聚合变换器

PDF
TL;DR基于 Transformer 的双聚合模型 (Dual Aggregation Transformer, DAT) 用于图像超分辨率任务中，通过在连续的 Transformer 块中交替应用空间和通道自注意力机制，同时引入自适应交互模块 (AIM) 和空间门控反馈网络 (SGFN) 实现了全局和块内特征聚合，实验证明 DAT 优于当前方法。
transformerimage super-resolutionself-attentiondual aggregation transformerglobal context
发现论文，激发创造
  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 学习图像去雨变换网络 with 动态双自注意力

    该论文提出了一种基于 Transformer 的图像去雨算法，结合了密集和稀疏自注意力机制，通过选择最有用的相似性值和空间增强的前馈网络来提高去雨效果。实验证明了该方法的有效性。

    Aug, 2023

  • DARTS: 基于双注意力参考的超分辨率变换器

    我们提出了 DARTS，一种用于基于参考图像的图像超分辨率的 transformer 模型，它通过匹配高分辨率参考图像中学习到的对应关系来增强低分辨率输入图像的内容。我们的工作展示了如何将注意机制应用于基于参考图像的图像超分辨率的特定要求中，显著简化了架构和训练过程。我们的基于 transformer 的模型在 SUN80 数据集上表现出与先进模型具有竞争力的性能，同时保持了更简单的总体架构和训练过程。

    Jul, 2023

  • HMANet：基于混合多轴聚合网络的图像超分辨率

    本文提出了一种新颖的混合多轴聚合网络（HMA），通过叠加残差混合 Transformer 块（RHTB）和网格注意力块（GAB），在超分辨率视觉任务中充分利用特征潜力信息，并通过实验验证了该模型的有效性。

    May, 2024

  • 双视觉变压器

    本文提出了名为 Dual Vision Transformer (Dual-ViT) 的新型 Transformer 结构，在保持准确度的前提下，通过综合运用语义路径和像素路径，将全局语义压缩成更高效的先验信息，进而实现了减少计算复杂度的目的，并在实验中表现出比 SOTA Transformer 结构更高的准确度。

    Jul, 2022

  • DA-TransUNet：利用 Transformer U-Net 集成空间和通道双重注意力进行医学图像分割

    本研究提出了一种名为 DA-TransUNet 的新型深度医学图像分割框架，将 Transformer 和双注意力块引入传统 U 形架构的编码器和解码器中，通过注意力机制和多方面特征提取来增强医学图像分割，并通过实验结果证明 DA-TransUNet 在各个医学图像分割基准测试中显著优于现有方法。

    Oct, 2023

  • 基于变形注意力转换器的参考图像超分辨率

    该论文提出了一种基于变形关注的变换器，即 DATSR，通过多个尺度来解决了参考图像超分辨率中的关键问题，即如何匹配低分辨率与参考图像的对应关系，以及如何将相关纹理从 Ref 图像传输到 LR 图像中来弥补细节。在多个基准测试数据集上进行的广泛实验表明，DATSR 取得了最先进的定量和定性性能。

    Jul, 2022

  • DaViT: 双注意力视觉 Transformer

    本文提出 Dual Attention Vision Transformers (DaViT) 网络，该网络通过自我注意机制能够捕获全局信息，同时保持计算效率，并在图片分类任务上取得了最先进的表现。

    Apr, 2022

  • DAT++：具有可变形注意力的空间动态视觉变换器

    通过引入一种新的可变形多头注意力模块，Deformable Attention Transformer（DAT）有效地解决了 Transformer 模型中存在的注意力范围过大和过于手工化的问题，从而提高视觉识别任务的性能。实验证明，DAT 在各种视觉识别基准测试中取得了最先进的结果，包括 85.9% 的 ImageNet 准确率，54.5 和 47.0 的 MS-COCO 实例分割 mAP，以及 51.5 的 ADE20K 语义分割 mIoU。

    Sep, 2023