通过将深度可分离卷积核的二维卷积核分解为级联的水平和垂直一维卷积核，提出了一种名为 Large Separable Kernel Attention（LSKA）模块的家族，用于减少计算复杂性和内存占用，同时在视觉注意力网络（VAN）中实现具有大卷积核的注意力模块，并表明 LSKA 模块比 VAN 中的标准 LKA 模块具有更大的目标形状偏好和较低的计算复杂度和内存占用。

Sep, 2023

本文提出了一个卷积神经网络（CNN）的多尺度关注网络（MAN），其中包括多尺度大型核关注（MLKA）和门控空间关注单元（GSAU），以提高卷积 SR 网络的性能。实验结果表明，我们的 MAN 可以在不同的状态下实现各种平衡。

Sep, 2022

我们重新审视了注意力机制与大内核卷积神经网络在视觉转换器中的关系，并提出了一种称为大内核卷积注意力（LKCA）的新空间注意力机制。它通过将注意力操作替换为单个大内核卷积来简化注意力机制。LKCA 结合了卷积神经网络和视觉转换器的优势，具有大的接受域、局部性和参数共享特点。我们从卷积和注意力的角度解释了 LKCA 的优势，并为每个视角提供了等效的代码实现。实验证实，从卷积和注意力的角度实现的 LKCA 表现出等效性能。我们在分类和分割任务中广泛实验了 LKCA 变体的 ViT。实验表明，LKCA 在视觉任务中表现出竞争性能。我们的代码将在此 https URL 上公开。

Jan, 2024

介绍了一种新的分层视觉 Transformer 网络模型 (D-LKA Net)，采用变形大核注意力机制以完全理解体积上下文信息，并在医学图像分割任务上展现出卓越的性能。

Aug, 2023

我们提出了一种新颖的可学习协同注意力（LCoA）方法，通过引入归纳偏差来解决非局部建模中的高计算复杂性和内存消耗问题，并将其集成到深度可学习协同注意力网络（LCoAN）中，与其他先进的超分辨率方法相比，在推理时间、内存消耗和重建质量等方面取得了有竞争力的性能。

Apr, 2024

本研究提出了一种自适应地选择卷积核大小的机制（SKA），通过利用频道信息和注意力机制，改进了现有的演讲者验证体系结构，且在三种不同的评估协议中经过充分的实验验证，改进后的 SKA 变体的表现持续提高，并具备良好的互补性。

Apr, 2022

通过应用大感受野，我们提出了一种称为 Symmetric Visual Attention Network (SVAN) 的方法来改进高效超分辨率重建，减少了算法参数的数量并提高了模型的感知能力。实验结果表明，我们的方法只使用了现有 SOTA 方法约 30% 的参数，却能获得高质量的超分辨率重建结果。

Jan, 2024

本研究旨在设计一种新的关注区块，其见解来自于 SR 网络的局部归因图解释。我们使用轻量级全局像素访问模块处理全局区域，使用 Intra-Patch 自我关注模块处理局部区域，并使用级联补丁划分策略来提高恢复图像的感知质量。实验结果表明，我们的方法比最先进的轻量级 SR 方法表现更好。

Nov, 2022

本论文提出了首个可将跨尺度特征相关性与非局部注意力机制相融合的循环神经网络，该模型及其与本地和同尺度非局部注意力结合可以更好地发现单个低分辨率图像中的跨尺度特征相关性，从而显著提高图像超分辨率的性能，并在多项 SISR 基准测试中表现出新的最佳效果。

Jun, 2020

在超分辨率领域中，本文介绍了一种新的方法，通过将 Transformers 的优势引入 CNNs，实现了既具备计算效率又具备增强性能的 Partial Large Kernel CNNs。

Apr, 2024