基于分层区域的多实例学习中的 Transformer

ICCVAug, 2023

基于分层区域的多实例学习中的 Transformer

Towards Hierarchical Regional Transformer-based Multiple Instance Learning

Josef Cersovsky, Sadegh Mohammadi, Dagmar Kainmueller, Johannes Hoehne

TL;DR我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

Abstract

The classification of gigapixel histopathology images with deep multiple instance learning models has become a critical task in digital pathology and precision medicine. In this work, we propose a Transformer-based multiple instance learning approach that replaces the traditional learn

gigapixel histopathology images deep multiple instance learning models transformer-based multiple instance learning approach regional aggregation image processing

发现论文，激发创造

如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

Jan, 2023

多尺度注意力多实例学习用于多千兆像素组织学图像分类

本文提出了一个深度学习管道，以多个实例学习和注意力机制对组织检查图像进行分类，并成功实现了对鼻咽癌的 LMP1 状态预测。通过可视化注意力分数，该方法还允许对模型的解释性进行检查。

Sep, 2022

自监督视觉 Transformer 是可扩展的领域泛化生成模型

我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化，通过使用一种生成的自监督视觉转换器从图像片段中提取特征，并将它们无缝地融合到原始图像中，从而创建具有不同属性的新颖的合成图像，丰富数据集，从而提高深度学习模型在未见领域中的泛化能力。

Jul, 2024

掩码注意力：提高视觉 Transformer 可解释性的机制

通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

Apr, 2024

数字病理学中无旋转偏见的图像表示学习

本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。

Nov, 2023

基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

Nov, 2023

基于层次图像金字塔变换器的结肠活检和肠息肉组织病理图像分类基准评估

在高分辨率组织病理学全幻灯片图像中，使用高质量的像素级标注训练神经网络是昂贵的。然而，最近自监督学习的进展表明，可以学习到高度描述性的图像表示，而无需标注。我们研究了最近的分层图像金字塔变换器（HIPT）模型在结直肠活检和息肉分类等特定任务中的应用。在评估 TCGA 学习的特征对原始 HIPT 模型的有效性后，我们使用两种不同策略将结肠活检图像信息纳入 HIPT 的预训练中：（1）从现有的 TCGA 权重微调 HIPT，以及（2）从随机权重初始化预训练 HIPT。我们比较了这些预训练方案在两个结直肠活检分类任务（二元分类和多类分类）上的性能。

May, 2024

使用置换不变算子的深度学习进行多实例组织病理分类

该论文提出了一种处理医学影像的框架，使用多实例学习多个小图像块的神经网络得出最终诊断，以解决机器学习中小 n，大 p 问题和像素级注释的限制。

Dec, 2017

用于多标记全切片组织病理学图像的补丁变换器

提出了一种利用 Patch Transformer 来进行多标签预测的深度神经网络模型，可以从组织病理学切片图像中有效地预测多个幻灯片级标签，并通过大量实验证明了该模型的有效性。

Jun, 2019

将组织病理原型融合为稳健的幻灯片级别表征用于癌症亚型划分

通过特征嵌入和聚类的组合方法，将全幻灯片图像预处理为一个减少的原型表示，并作为合适的 MLP-Mixer 结构的输入，以达到与当前最先进的方法相当的性能，同时降低计算时间和内存负载的训练成本。

Oct, 2023