全幻灯片图像分类中的位置感知多实例学习的 RoFormer

Oct, 2023

全幻灯片图像分类中的位置感知多实例学习的 RoFormer

RoFormer for Position Aware Multiple Instance Learning in Whole Slide Image Classification

Etienne Pochet, Rami Maroun, Roger Trullo

TL;DR整个切片图像（WSI）分类是计算病理学中的一个关键任务，目前深度学习在处理这种大小为千兆像素的图像方面仍存在重大挑战。我们提出了一种称为 RoFormer 层的简单编码模块，采用了内存高效的准确自注意力和相对位置编码，在大型和任意形状的 WSI 切块上进行全自注意力，解决了实例间相关性和组织的空间建模问题。我们的方法在弱监督分类任务上比最先进的 MIL 模型在三个常用的公共数据集（TCGA-NSCLC，BRACS 和 Camelyon16）上表现出色。

Abstract

Whole slide image (WSI) classification is a critical task in computational pathology. However, the gigapixel-size of such images remains a major challenge for the current state of deep-learning. Current methods rely on multiple-instance learning (MIL) models with frozen feature extractors. Given the the high number of instances in each image, MIL methods hav

whole slide image (wsi) classification computational pathology multiple-instance learning (mil)roformer layer weakly supervised classification

发现论文，激发创造

RetMIL：组织病理学全切片图像分类的记忆多实例学习

通过提出的基于保留机制的 RetMIL 方法，实现了对组织病理学全幻灯片图像的分析，同时在性能和计算开销方面取得了显著的提升。

Mar, 2024

自监督对比学习的双流多示例学习网络用于全切片图像分类

本论文提出了一种基于 MIL 的方法，用于全幻灯片图像（WSI）分类和肿瘤检测，无需局部注释，并提出了自我监督对比学习及金字塔融合机制，从而提高分类和定位的准确性。

Nov, 2020

Long-MIL: 面向组织病理学全切片图像分析的长上下文多实例学习的扩展

本文提出了一种改良位置嵌入的长上下文 WSI 方法，通过引入线性偏差来处理形状变化的大 WSI，并将其从 1 维长序列适应到 2 维长上下文 WSI 中，用于模型对未见或欠拟合位置的外推；同时利用闪存注意力模块解决 Transformer 的计算复杂性问题，保持了全自注意力的性能。通过在 4 个数据集上进行 WSI 分类和生存预测任务的广泛实验证明了我们方法在形状变化的 WSIs 上的优越性。

Nov, 2023

无监督互相转换器学习用于多千兆像素全切片图像分类

提出一种基于相互 Transformer 学习的全无监督 WSI 分类算法，并在公开数据集上进行了广泛实验，证明了该方法在 WSI 分类和癌症亚型分类方面的优越性能。

May, 2023

利用多个实例学习在整个切片图像中找到感兴趣区域

通过弱监督的多实例学习方法，利用全幅显微镜图像整体癌症表型的预测来探索肿瘤检测和癌基因突变检测，结果显示与参考实现（AUC 0.96）相匹配的新型叠加多实例学习和关注多实例学习（AUC 0.97）对肿瘤和 TP53 突变的检测能力优于其他 AI 架构，并在不同放大级别下显示对形态特征的不同敏感性。

Apr, 2024

用于全幻灯片图像分类的紧凑、无偏负实例嵌入

整张切片图像分类中，使用多实例学习和半监督方法来改善基于切片级注释的分类算法，通过在正常切片上引入自由标注信号来减少切片间的变异性并捕捉常见变异因素，该方法显著提高了预测性能并优于其他半监督算法。

Feb, 2024

DTFD-MIL: 双层特征蒸馏多示例学习用于组织病理学全切片图像分类

提出在组织病理学 WSI 分类问题中，通过引入虚拟 pseudo-bags 的概念并构建双层 MIL 框架来扩大样本数，同时在基于注意力的 MIL 框架下推导实例概率，显著优于最新方法并可适用于更广泛的 MIL 应用。

Mar, 2022

基于 Transformer 的多层多实例学习用于全切片图像分类

提出了一种多层多实例学习与 Transformer 相结合的方法，能有效处理大量实例的 MIL 任务，并在 WSI 图像分类任务上展示出优秀的性能。

Jun, 2023

可训练原型增强的多示例学习用于全切片图像分类

该研究论文提出了一种基于原型学习和多实例学习的 Trainable Prototype enhanced deep MIL (TPMIL) 框架，用于弱监督下的 WSI 分类，其不需要依赖于选定的图像补丁，能够更准确地识别肿瘤亚型。

May, 2023

如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

Jan, 2023