本文提出了一种新的多头自注意力视觉转换器（ViT）框架，通过使用残差连接的概念累积多头注意力块中的最佳注意力输出，从而在生物医学图像分类方面取得了显着的进展，并在两个小数据集上进行了评估：（i）血细胞分类数据集和（ii）使用脑 MRI 图像进行脑肿瘤检测。结果表明该框架较传统 ViT 和其他基于卷积的最先进分类模型具有更好的分类性能。

Jun, 2023

本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

Jul, 2021

研究提出了一种多阶段的 Vision Transformer 框架，用于细粒度图像分类，可在不需要架构变化的情况下定位信息图像区域。 Attention-guided 增强技术提高了模型性能，并在四个流行的细粒度基准测试中进行了实验，同时通过定性结果证明了模型的可解释性。

Jun, 2021

提出了一种基于 CASP-GAN 的协调空间注意力生成对抗网络，以及一种关注性生成跨模态分割方法，该方法在脑肿瘤分割中取得了比 CycleGAN 和部分前沿方法更好的结果。

Apr, 2023

我们提出了一种基于上下文和注意力特征融合增强的卷积神经网络（CNN）和 Transformer 混合网络（CAFCT）模型，用于肝肿瘤分割。在所提出的模型中，引入了其他三个模块：注意力特征融合（AFF）、DeepLabv3 的 Atrous 空间金字塔池化（ASPP）和注意力门（AGs），以改善与肿瘤边界相关的上下文信息，以实现准确的分割。实验结果表明，所提出的 CAFCT 在 Liver Tumor Segmentation Benchmark（LiTS）数据集上分别达到了 90.38% 的平均交并比（IoU）和 86.78% 的 Dice 分数，优于 Pure CNN 或 Transformer 方法，如 Attention U-Net 和 PVTFormer。

Jan, 2024

本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

Jul, 2022

基于多尺度关注引导 U-Net 模型以及 Swin Transformer 的三维脑肿瘤分割方法的性能评估。

Mar, 2024

通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。

Jan, 2024

通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

Apr, 2024

引入了 U-Transformer 网络，结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制，有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题，在两个腹部 CT 图像数据集上表现出明显的优势。

Mar, 2021