我们重新审视了注意力机制与大内核卷积神经网络在视觉转换器中的关系，并提出了一种称为大内核卷积注意力（LKCA）的新空间注意力机制。它通过将注意力操作替换为单个大内核卷积来简化注意力机制。LKCA 结合了卷积神经网络和视觉转换器的优势，具有大的接受域、局部性和参数共享特点。我们从卷积和注意力的角度解释了 LKCA 的优势，并为每个视角提供了等效的代码实现。实验证实，从卷积和注意力的角度实现的 LKCA 表现出等效性能。我们在分类和分割任务中广泛实验了 LKCA 变体的 ViT。实验表明，LKCA 在视觉任务中表现出竞争性能。我们的代码将在此 https URL 上公开。

Jan, 2024

提出了多尺度感受野、大内核注意力模块 (LCAN)，用于改进轻量级图像超分辨率任务，并提高重建性能。

May, 2024

介绍了一种新的分层视觉 Transformer 网络模型 (D-LKA Net)，采用变形大核注意力机制以完全理解体积上下文信息，并在医学图像分割任务上展现出卓越的性能。

Aug, 2023

本文提出了一个卷积神经网络（CNN）的多尺度关注网络（MAN），其中包括多尺度大型核关注（MLKA）和门控空间关注单元（GSAU），以提高卷积 SR 网络的性能。实验结果表明，我们的 MAN 可以在不同的状态下实现各种平衡。

Sep, 2022

本研究提出了一种自适应地选择卷积核大小的机制（SKA），通过利用频道信息和注意力机制，改进了现有的演讲者验证体系结构，且在三种不同的评估协议中经过充分的实验验证，改进后的 SKA 变体的表现持续提高，并具备良好的互补性。

Apr, 2022

通过应用大感受野，我们提出了一种称为 Symmetric Visual Attention Network (SVAN) 的方法来改进高效超分辨率重建，减少了算法参数的数量并提高了模型的感知能力。实验结果表明，我们的方法只使用了现有 SOTA 方法约 30% 的参数，却能获得高质量的超分辨率重建结果。

Jan, 2024

本论文研究了在极端卷积核上训练和验证了能够光滑扩展卷积核的方法，提出了一种基于此方法的纯卷积神经网络结构 SLaK，可以在图像分类和各种下游任务中实现与分层变压器和现代 ConvNet 结构相当甚至更好的性能表现。

Jul, 2022

本研究提出了 Lite Vision Transformer（LVT），一种新型的轻量级 transformer 网络，其中包含两种增强自注意力机制，以提高模型在移动部署中的性能表现，并在 ImageNet 识别、ADE20K 语义分割和 COCO 全景分割中具有优越性能。

Dec, 2021

本文研究卷积神经网络中大核设计在现代网络中的应用，提出了五个指南以设计高效的，基于大卷积核的 CNN，并使用 RepLKNet 网络来实现可以与 ViTs 相媲美的结果，具有很好的方法可扩展性和性能表现优势。

Mar, 2022

本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

Mar, 2024