Mar, 2022

高效的长程注意力网络用于图像超分辨率

PDF
TL;DR该论文提出了一种高效的长程注意力网络，使用变换器和转移学习结构可用于图像超分辨率，其中包括自我注意力机制、移位卷积和多尺度自我注意力模块。
发现论文，激发创造
  • 单幅图像超分辨率的多尺度注意力网络

    本文提出了一个卷积神经网络（CNN）的多尺度关注网络（MAN），其中包括多尺度大型核关注（MLKA）和门控空间关注单元（GSAU），以提高卷积 SR 网络的性能。实验结果表明，我们的 MAN 可以在不同的状态下实现各种平衡。

    Sep, 2022

  • ELSA：增强的局部自注意力视觉变换器

    本文通过从通道设置和空间处理两个方面综合调查了本地自注意力和其同行的性能，发现空间注意力的生成和应用是影响性能的关键因素，提出了增强型本地自注意力（ELSA）并通过实验验证其有效性。

    Dec, 2021

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • 多视角三维重建的长程分组变换器

    基于 Transformer 的多视角三维重建算法中，引入长距离分组注意力机制（LGA）以处理来自不同视角的复杂图像令牌，从而提高模型学习效果，并通过进阶上采样解码器实现相对高分辨率的体素生成，实验结果验证了该方法在多视角重建中达到了 SOTA 准确性。

    Aug, 2023

  • 对称视觉注意力网络实现高效图像超分辨率

    通过应用大感受野，我们提出了一种称为 Symmetric Visual Attention Network (SVAN) 的方法来改进高效超分辨率重建，减少了算法参数的数量并提高了模型的感知能力。实验结果表明，我们的方法只使用了现有 SOTA 方法约 30% 的参数，却能获得高质量的超分辨率重建结果。

    Jan, 2024

  • ELA：深度卷积神经网络的高效局部注意力

    本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

    Mar, 2024

  • 使用像素注意力实现高效图像超分辨率

    本研究旨在设计一种轻量级卷积神经网络，用于图像超分辨率，提出了一种像素关注机制用于构建简洁且有效的网络，并分别提出了基于像素关注的主干和重建分支的构建块。该模型具有较好效果且参数量只有 SRResNet 和 CARN 的 17.92％和 17.09％。

    Oct, 2020

  • 长短期 Transformer: 语言和视觉的高效 Transformer

    提出了一种名为 “长短变压器” 的模型，其中使用自注意力机制处理长文本和高分辨率图像，同时引入了一种新型的远距离关注和短期关注机制，并采用双重归一化策略来处理两种注意力机制之间的规模差异。通过在多个语言和视觉任务中的表现，该方法优于现有的方法。

    Jul, 2021

  • 探索基于注意力图复用的高效 Transformer 神经网络

    本文研究了基于 Transformer 的自注意力（SA）提取序列特征方案，在注意力地图重用方面做了全面的研究，并证明了其在加速推理方面具有显著的优势。实验结果表明，注意力地图重用方法在 CPU 和 GPU 平台上可以减少推理延迟。

    Jan, 2023

  • 图像超分辨率的高效非局部对比度注意力

    本文提出了一种新的高效非局部对比度注意力 (Efficient Non-Local Contrastive Attention, ENLCA)，实现了长距离视觉建模和更多相关非局部特征的利用。通过引入核方法来近似指数函数，达到线性计算复杂度，并通过对比学习从而进一步分离相关和无关特征，证明了 ENLCA 的有效性。

    Jan, 2022