通过将深度可分离卷积核的二维卷积核分解为级联的水平和垂直一维卷积核，提出了一种名为 Large Separable Kernel Attention（LSKA）模块的家族，用于减少计算复杂性和内存占用，同时在视觉注意力网络（VAN）中实现具有大卷积核的注意力模块，并表明 LSKA 模块比 VAN 中的标准 LKA 模块具有更大的目标形状偏好和较低的计算复杂度和内存占用。

Sep, 2023

我们重新审视了注意力机制与大内核卷积神经网络在视觉转换器中的关系，并提出了一种称为大内核卷积注意力（LKCA）的新空间注意力机制。它通过将注意力操作替换为单个大内核卷积来简化注意力机制。LKCA 结合了卷积神经网络和视觉转换器的优势，具有大的接受域、局部性和参数共享特点。我们从卷积和注意力的角度解释了 LKCA 的优势，并为每个视角提供了等效的代码实现。实验证实，从卷积和注意力的角度实现的 LKCA 表现出等效性能。我们在分类和分割任务中广泛实验了 LKCA 变体的 ViT。实验表明，LKCA 在视觉任务中表现出竞争性能。我们的代码将在此 https URL 上公开。

Jan, 2024

Hierarchical transformers have introduced the DLK and DFF modules in the D-Net architecture, resulting in improved performance for medical image segmentation tasks.

Mar, 2024

提出了多尺度感受野、大内核注意力模块 (LCAN)，用于改进轻量级图像超分辨率任务，并提高重建性能。

May, 2024

本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

Feb, 2021

提出了一种 3D 医学图像分割和检测的容积注意力（VA）模块。VA 注意力受到视频处理的最新进展的启发，并使得 2.5D 网络能够利用沿着 z 方向的上下文信息，从而在训练数据有限时允许使用预先训练的 2D 检测模型。其与 Mask R-CNN 的整合显示，在肝肿瘤分割挑战中实现了最优表现，超越了以前的挑战赢家 3.9 分，并在 LiTS 排行榜上达到了最佳成绩。在 DeepLesion 数据集上的检测实验也表明，将 VA 添加到现有的物体检测器中，可以获得 69.1 的灵敏度，每张图像的 0.5 假阳性，超越了已发表的最佳结果 6.6 分。

Apr, 2020

通过使用自监督算法 S³-Net 结合 Inception Large Kernel Attention（I-LKA）模块、可变形卷积和空间一致性损失项，本研究提出一种精确医学图像分割方法，并在皮肤病变和肺器官分割任务中展现了超越 SOTA 方法的卓越性能。

Aug, 2023

本文提出了一个卷积神经网络（CNN）的多尺度关注网络（MAN），其中包括多尺度大型核关注（MLKA）和门控空间关注单元（GSAU），以提高卷积 SR 网络的性能。实验结果表明，我们的 MAN 可以在不同的状态下实现各种平衡。

Sep, 2022

我们提出了一个全卷积变种的 U-Net 结构的转换器模块，用于建模 3D 脑损伤分割的远程交互，证明了我们的模型在三个因素中提供了最大的妥协点：与最先进技术相竞争的性能；卷积神经网络的参数效率；以及转换器的有利归纳偏差。

Aug, 2023

本研究提出了两种三维物体检测的自我注意力模型，即通过将卷积特征与自我注意力特征相结合，将成对的自我注意力机制纳入最新的基于 BEV、体素和点云检测器，最终在 KITTI 验证集上证明了模型精度的一致提高，同时减少了运算量和计算成本，实现了更好的参数效率和计算效率。

Jan, 2021