提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

Jan, 2023

我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

Aug, 2023

探索使用 Cross Attention 机制替代传统的 self-attention 机制在计算机视觉任务中实现 Transformer 的实用性，实验表明该机制在 ImageNet-1K、COCO 和 ADE20K 等任务上可以达到先进水平，并且降低了计算量。

Jun, 2021

通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

Apr, 2024

本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

Feb, 2021

引入了 U-Transformer 网络，结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制，有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题，在两个腹部 CT 图像数据集上表现出明显的优势。

Mar, 2021

通过使用多头自注意力结构，结合架构搜索方法，本研究提出了一种高效且有效的高分辨率图像分割神经网络架构，名为 HyCTAS，通过在多个分辨率的分支之间融合轻量级卷积层和内存高效的自注意力层，提高了语义分割任务的性能。

Mar, 2024

本研究探讨了在医疗诊断和治疗计划中支持临床的自动疾病分类的技术，并提出了一种新颖的交叉注意力网络方案（Cross-Attention Networks）来分类胸透图像以提高性能，同时结合新的损失函数，克服了数据不平衡的问题，并取得了最先进的结果。

Jul, 2020

在本文中，我们提出了基于高效轴向注意力的多尺度交叉轴向注意力（MCA）来解决医学图像分割中的多尺度信息获取和像素之间的长程依赖问题，通过计算两个平行轴向注意力之间的双交叉注意力来更好地捕捉全局信息。同时，我们还使用不同核尺寸的多个条状卷积来处理病变区域或器官的显著变化，以提高空间信息的编码效率。经过实验证明，我们的网络 MCANet 仅具有 4M + 参数，在皮肤病变分割、细胞核分割、腹部多器官分割和息肉分割等四个具有挑战性的任务上，表现比大型骨干模型（如 Swin Transformer）更出色。

Dec, 2023

本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

Jun, 2023