Nov, 2022

跨聚合 Transformer 用于图像恢复

PDF
TL;DR本篇论文提出了一种新的交叉聚合变压器（CAT）模型，并引入矩形窗口自注意力（Rwin-SA）与轴向移位操作来扩大注意力区域并跨多个窗口聚合特征，同时提出了本地补充模块来增强变压器的全局 - 局部耦合性能，实验结果表明，CAT 在多个图像修复应用中优于最新的若干方法。
transformer architectureimage restorationcross aggregation transformerrectangle-window self-attentionlocality complementary module
发现论文，激发创造
  • CAT: 视觉 Transformer 中的交叉注意力

    探索使用 Cross Attention 机制替代传统的 self-attention 机制在计算机视觉任务中实现 Transformer 的实用性，实验表明该机制在 ImageNet-1K、COCO 和 ADE20K 等任务上可以达到先进水平，并且降低了计算量。

    Jun, 2021

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • HAT：用于图像恢复的混合注意力变换器

    Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

    Sep, 2023

  • CATs: 视觉对应的成本汇聚变压器

    本研究提出一种名为 Cost Aggregation Transformers (CATs) 的新型 cost aggregation network，以解决大规模几何和出现变化情况下的图像语义相似性匹配问题，利用全局的自我注意机制消除初始相关图之间的不准确匹配，通过外观关联建模辅助 cost 聚合过程，创新地定位多级聚合模块，加入交换注意力机制和残差连接来提高性能。

    Jun, 2021

  • HMANet：基于混合多轴聚合网络的图像超分辨率

    本文提出了一种新颖的混合多轴聚合网络（HMA），通过叠加残差混合 Transformer 块（RHTB）和网格注意力块（GAB），在超分辨率视觉任务中充分利用特征潜力信息，并通过实验验证了该模型的有效性。

    May, 2024

  • CFAT：释放三角窗口的图像超分辨率

    图像超分辨率的领域中，我们提出了一个名为 CFAT 的模型，它结合了三角 - 矩形窗口和基于通道的全局注意力技术，能够激活更多的图像像素的注意机制，并捕捉长距离、多尺度特征以提高超分辨率性能。我们的实验证明了 CFAT 在 SR 领域的有效性，其相较于其他最新的 SR 架构有显著的 0.7 个分贝的性能提升。

    Mar, 2024

  • 窗口化注意力在图像压缩中的应用

    本文提出了一种基于 Transformer 和注意力机制的对称变压器框架，其中融合了局部感知机制和全局相关特征学习，在图像压缩方面表现出更好的效果。

    Mar, 2022

  • XCiT: 跨协方差图像变换器

    本文介绍了基于交叉协方差矩阵的交叉协方差注意力（XCA），用于高分辨率图像的高效处理。文章基于 XCA 构建了交叉协方差图像变换器（XCiT），并在多个视觉基准测试中取得了优异的结果，包括 ImageNet-1k 上的图像分类和自监督特征学习，COCO 上的目标检测和实例分割以及 ADE20K 上的语义分割。

    Jun, 2021

  • 具有二维旋转嵌入的交叉轴变压器

    介绍了 Cross-Axis Transformer (CAT) 模型，该模型通过减少浮点运算数量，在图像处理中比 Vision Transformers 更快、更准确地收敛，从而解决了 Vision Transformers 在计算效率和处理空间维度方面的弱点。

    Nov, 2023