我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

Aug, 2023

该论文提出了一种名为 MaskHIT 的模型，它使用预训练的 transformer 模型来重建被遮盖的 WSI 区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。

Apr, 2023

研究使用 attention 模型建立一个面向域无关的架构，可用于任何表面数据在球状流形上的研究，被证实在皮层表面度量的表型回归任务中优于表面卷积神经网络，而在注册和未注册数据上表现相当。

Mar, 2022

本研究介绍了一个基于尺度不变特征转换的加权块间关系分析方法，并发现该定量分析不仅是 ViT 中 MSA 机制解释的有效补充，还可以应用于模型推断中的假相关性发现和提示，以及引导模型预训练加速。

Nov, 2022

医学图像分析可以通过一种扎根于自注意机制的创新架构得到促进。传统的卷积神经网络（CNN）在捕捉像素级复杂空间和时间关系时需要帮助，而其卷积窗口的固定大小限制了输入波动。为了克服这些限制，我们提出了基于注意力模型而非卷积的新范式。这些模型作为传统 CNN 的替代品，表现出强大的建模能力和高效获取全局长范围上下文信息的能力。通过将非重叠（vanilla patching）和新颖的重叠移位补丁技术（S.P.T.s）相结合，我们的工作提供了一种解决注意力视觉模型所面临的关键挑战的方法，包括归纳偏差、权重共享、感受野限制和高分辨率数据处理。此外，我们还研究了适应不同图像尺寸到更高分辨率的新颖 Lancoz5 插值技术。实验证据验证了我们模型的一般化效果，并与现有方法进行了有利比较。特别是在充足数据的情况下，基于注意力的方法特别有效，尤其是在集成先进的数据增强方法来增强它们的鲁棒性时。

Apr, 2024

基于 Vision Transformer 架构和 Patch 掩蔽技术的图像异常检测方法，将输入图像分成多个分辨率的 Patch，在忽略异常信息的同时对周围数据进行重建，相较传统方法性能更好，MVTec 和 head CT 等数据集上实现了良好的结果。

Oct, 2022

在这项研究中，我们提出了一种用于 Vision Transformer 的注意力的统计测试方法，通过选择性推理的框架，我们量化了注意力的统计显著性，并将其用于脑图像诊断的应用，以可靠的定量证据指示 Vision Transformer 的决策过程。

Jan, 2024

本论文提出一种监测模型关联信号并在细调阶段对模型进行操作使其聚焦于前景物体的方法，实验结果表明在 ViT 模型上应用该方法可以显著提高模型在领域变化方面的鲁棒性，同时无需附加监督信号。

Jun, 2022

探索使用 Cross Attention 机制替代传统的 self-attention 机制在计算机视觉任务中实现 Transformer 的实用性，实验表明该机制在 ImageNet-1K、COCO 和 ADE20K 等任务上可以达到先进水平，并且降低了计算量。

Jun, 2021

提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

Dec, 2021