超越注意力：从弱监督多实例学习模型中得出易于解读的生物学见解

Sep, 2023

超越注意力：从弱监督多实例学习模型中得出易于解读的生物学见解

Beyond attention: deriving biologically interpretable insights from weakly-supervised multiple-instance learning models

Willem Bonnaffé, CRUK ICGC Prostate Group, Freddie Hamdy, Yang Hu, Ian Mills...

TL;DR通过引入预测注意力加权地图和生物特征实例化技术，通过分析 MIL 模型，我们提高了对数字病理学中预测准确性区域的解释性，揭示了前列腺癌诊断中对预后有不良预测作用的区域与肿瘤区域不重合，提出了评估预后时也应研究非癌细胞。

Abstract

Recent advances in attention-based multiple instance learning (MIL) have improved our insights into the tissue regions that models rely on to make predictions in digital pathology. However, the interpretability o

attention-based multiple instance learning interpretability prediction-attention-weighted maps biological feature instantiation technique prostate cancer diagnosis

发现论文，激发创造

数字病理学中注意力图的可解释性特征研究

通过引入人工模型混淆因素和使用专用的可解释性评估指标，我们提出了一个框架来评估数字病理学中注意力网络对相关特征的关注能力，发现注意力图的鲁棒性受到混淆因素的类型和数量的影响，该框架可用于评估各种方法并探索驱动模型预测的基于图像的特征，可能有助于生物标志物的发现。

Jul, 2024

基于交叉注意力的全切片图像癌转移预测

该研究提出了一种基于交叉关注的突出实例推断多实例学习方法，通过一种新的显著性提醒的关注机制，在 WSIs 上无需任何标注即可识别乳腺癌淋巴结微转移，并展示出对小肿瘤病变 WSIs 的出色准确性，具有良好的解释性特点。

Sep, 2023

距离感知自注意力深度多实例学习

提出了一种新的多实例学习（MIL）模型，使用距离感知自注意力（DAS-MIL）来考虑图像中不同补丁之间的相对空间关系，以提高医学图像分析的精度。通过在 MNIST-based MIL 数据集和公开的癌症转移检测数据集 CAMELYON16 上评估我们的模型，证明了该模型超越了现有的多数 MIL 方法。

May, 2023

重新思考基于注意力的多实例学习在全切片病理图像分类中的应用：一个实例属性的观点

提出了一个属性驱动 MIL 框架来解决注意力机制在区分实例上的限制，并通过空间属性约束和属性排序约束改进了模型的识别能力，进而在多个评估指标上优于现有的最先进框架。

Mar, 2024

基于全切片图像的肿瘤生存预测：基于注意力引导的深度多示例学习网络

此研究提出了一种名为 DeepAttnMISL 的多实例深度学习方法，通过引入两种方式（siamese MI-FCN 和 attention-based MIL pooling）从 WSI 中高效地学习图像特征，然后将 WSI 级别的信息聚合到患者级别。该方法适用于大型数据集，并具有更好的可解释性，可用于癌症患者风险评估和个性化医疗。

Sep, 2020

如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

Jan, 2023

基于分层区域的多实例学习中的 Transformer

我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

Aug, 2023

基于跨尺度注意力引导的多实例学习在克隆病病理图像诊断中的应用

本文提出了一种新的跨度注意机制来聚合具有不同分辨率的图像中的特征，并生成不同分辨率的可视化结果来定位并解释可解释的损伤模式，该方法在 Crohn 病这种炎症性肠病的诊断中取得了优异的成果。

Aug, 2022

利用注意力机制进行基于补丁的生物医学图像分类

医学图像分析可以通过一种扎根于自注意机制的创新架构得到促进。传统的卷积神经网络（CNN）在捕捉像素级复杂空间和时间关系时需要帮助，而其卷积窗口的固定大小限制了输入波动。为了克服这些限制，我们提出了基于注意力模型而非卷积的新范式。这些模型作为传统 CNN 的替代品，表现出强大的建模能力和高效获取全局长范围上下文信息的能力。通过将非重叠（vanilla patching）和新颖的重叠移位补丁技术（S.P.T.s）相结合，我们的工作提供了一种解决注意力视觉模型所面临的关键挑战的方法，包括归纳偏差、权重共享、感受野限制和高分辨率数据处理。此外，我们还研究了适应不同图像尺寸到更高分辨率的新颖 Lancoz5 插值技术。实验证据验证了我们模型的一般化效果，并与现有方法进行了有利比较。特别是在充足数据的情况下，基于注意力的方法特别有效，尤其是在集成先进的数据增强方法来增强它们的鲁棒性时。

Apr, 2024

Long-MIL: 面向组织病理学全切片图像分析的长上下文多实例学习的扩展

本文提出了一种改良位置嵌入的长上下文 WSI 方法，通过引入线性偏差来处理形状变化的大 WSI，并将其从 1 维长序列适应到 2 维长上下文 WSI 中，用于模型对未见或欠拟合位置的外推；同时利用闪存注意力模块解决 Transformer 的计算复杂性问题，保持了全自注意力的性能。通过在 4 个数据集上进行 WSI 分类和生存预测任务的广泛实验证明了我们方法在形状变化的 WSIs 上的优越性。

Nov, 2023