Jan, 2024

LKCA：大卷积核关注

PDF
TL;DR我们重新审视了注意力机制与大内核卷积神经网络在视觉转换器中的关系，并提出了一种称为大内核卷积注意力（LKCA）的新空间注意力机制。它通过将注意力操作替换为单个大内核卷积来简化注意力机制。LKCA 结合了卷积神经网络和视觉转换器的优势，具有大的接受域、局部性和参数共享特点。我们从卷积和注意力的角度解释了 LKCA 的优势，并为每个视角提供了等效的代码实现。实验证实，从卷积和注意力的角度实现的 LKCA 表现出等效性能。我们在分类和分割任务中广泛实验了 LKCA 变体的 ViT。实验表明，LKCA 在视觉任务中表现出竞争性能。我们的代码将在此 https URL 上公开。
发现论文，激发创造
  • 大型可分离核注意力：重新思考 CNN 中的大型核注意力设计

    通过将深度可分离卷积核的二维卷积核分解为级联的水平和垂直一维卷积核，提出了一种名为 Large Separable Kernel Attention（LSKA）模块的家族，用于减少计算复杂性和内存占用，同时在视觉注意力网络（VAN）中实现具有大卷积核的注意力模块，并表明 LSKA 模块比 VAN 中的标准 LKA 模块具有更大的目标形状偏好和较低的计算复杂度和内存占用。

    Sep, 2023

  • 大坐标核注意力网络用于轻量级图像超分辨率

    提出了多尺度感受野、大内核注意力模块 (LCAN)，用于改进轻量级图像超分辨率任务，并提高重建性能。

    May, 2024

  • 超越自注意力：用于医学图像分割的可变形大卷积核注意力

    介绍了一种新的分层视觉 Transformer 网络模型 (D-LKA Net)，采用变形大核注意力机制以完全理解体积上下文信息，并在医学图像分割任务上展现出卓越的性能。

    Aug, 2023

  • 具有增强自注意力的轻量级视觉 Transformer

    本研究提出了 Lite Vision Transformer（LVT），一种新型的轻量级 transformer 网络，其中包含两种增强自注意力机制，以提高模型在移动部署中的性能表现，并在 ImageNet 识别、ADE20K 语义分割和 COCO 全景分割中具有优越性能。

    Dec, 2021

  • 单幅图像超分辨率的多尺度注意力网络

    本文提出了一个卷积神经网络（CNN）的多尺度关注网络（MAN），其中包括多尺度大型核关注（MLKA）和门控空间关注单元（GSAU），以提高卷积 SR 网络的性能。实验结果表明，我们的 MAN 可以在不同的状态下实现各种平衡。

    Sep, 2022

  • ELA：深度卷积神经网络的高效局部注意力

    本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

    Mar, 2024

  • 频率和多尺度选择性核关注在说话人验证中的应用

    本研究提出了一种自适应地选择卷积核大小的机制（SKA），通过利用频道信息和注意力机制，改进了现有的演讲者验证体系结构，且在三种不同的评估协议中经过充分的实验验证，改进后的 SKA 变体的表现持续提高，并具备良好的互补性。

    Apr, 2022

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 卷积神经网络的通用可视化方法

    本研究提出了一种不需要结构性改变或微调卷积神经网络的方法，利用 L2-CAF 作为一种注意力滤波器，从而实现检索网络的注意力可视化，实现了在物体定位方面的最先进研究成果。

    Jul, 2020

  • UniRepLKNet：通用感知大卷积网络用于音频、视频、点云、时间序列和图像识别

    我们提出了四种用于设计大核卷积神经网络的架构指南，并发现大核对于拓展卷积神经网络在非视觉领域具有卓越表现的关键因素。我们的模型在图像识别、时间序列预测和音频识别任务中表现出卓越性能，优于其他竞争模型，并且无需对体系结构进行特定模态的定制化处理。

    Nov, 2023