MamMIL:基于状态空间模型的整片切片图像多实例学习
提出了一种多层多实例学习与 Transformer 相结合的方法,能有效处理大量实例的 MIL 任务,并在 WSI 图像分类任务上展示出优秀的性能。
Jun, 2023
MAD-MIL 是一个基于多头注意力机制的深度多实例学习模型,针对数字病理学中弱监督的整张切片图像分类而设计。在模型复杂度简化的同时,MAD-MIL 能够与先进模型如 CLAM 和 DS-MIL 取得竞争性结果,并在 MNIST-BAGS 和公共数据集(包括 TUPAC16、TCGA BRCA、TCGA LUNG 和 TCGA KIDNEY)上对 ABMIL 进行持续超越。该模型展示了切片表示中的信息多样性、可解释性和效率的提升。结合较少的可训练参数和较低的计算复杂度,这使得该模型成为自动化病理工作流程的有希望的解决方案。我们的代码可在此 https URL 找到。
Apr, 2024
提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架,该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域,同时使用 Integrated Attention Transformer(由多个 Integrated Attention Modules 组成)进一步提高了 transformer 的性能,实验表明,该方法在多个数据集上取得了最先进的表现。
Jan, 2023
通过在多实例学习(MIL)中引入选择性扫描空间状态顺序模型(Mamba),提出了具有线性复杂度的长序列建模的 MambaMIL。通过继承香草 Mamba 的能力,MambaMIL 能够全面理解和感知实例的长序列,并借助序列重新排序的 Mamba(SR-Mamba)有效地捕获更具有区分度的特征,并减轻与过度拟合和计算负担过重相关的挑战。通过对九个不同数据集上的两个公开挑战任务进行的大量实验,我们的提出的框架相对于最先进的 MIL 方法取得了良好的性能。
Mar, 2024
提出一种新的相关 MIL 框架 (correlated MIL) 以及设计一个基于 Transformer 的 MIL (TransMIL),并探索形态和空间信息,对于三个不同的计算病理学问题,比现有方法具有更好的性能和更快的收敛速度,在二元肿瘤分类上的测试 AUC 可以达到 93.09%,在 TCGA-NSCLC 数据集和 TCGA-RCC 数据集上,癌症亚型分类的 AUC 分别可以达到 96.03%和 98.82%。
Jun, 2021
本文提出了一种改良位置嵌入的长上下文 WSI 方法,通过引入线性偏差来处理形状变化的大 WSI,并将其从 1 维长序列适应到 2 维长上下文 WSI 中,用于模型对未见或欠拟合位置的外推;同时利用闪存注意力模块解决 Transformer 的计算复杂性问题,保持了全自注意力的性能。通过在 4 个数据集上进行 WSI 分类和生存预测任务的广泛实验证明了我们方法在形状变化的 WSIs 上的优越性。
Nov, 2023
通过应用基于注意力机制的多示例学习方法,创新地利用硬样本在分类边界建模中的好处,提出一种新的多示例学习框架,使用掩码硬实例挖掘(MHIM-MIL)的思想,旨在使学生模型学习到更好的判别边界。实验证明,MHIM-MIL 在性能和训练成本方面优于其他最新方法。
Jul, 2023
本论文提出了一种基于 MIL 的方法,用于全幻灯片图像(WSI)分类和肿瘤检测,无需局部注释,并提出了自我监督对比学习及金字塔融合机制,从而提高分类和定位的准确性。
Nov, 2020
多案例学习方法在整张幻灯片图像分析中仍然存在过拟合的挑战。本文提出了一种名为 ACMIL 的注意力挑战式多案例学习方法,旨在更好地捕捉有挑战性的预测实例,并通过三个 WSI 数据集的评估证明了其优越性。通过热图可视化、UMAP 可视化和注意力值统计,全面展示了 ACMIL 在克服过拟合挑战方面的有效性。
Nov, 2023