Apr, 2023

使用 Masked Pre-Training 的 Transformer 进行组织学图像分析

PDF
TL;DR该论文提出了一种名为 MaskHIT 的模型，它使用预训练的 transformer 模型来重建被遮盖的 WSI 区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。
digital pathologywhole slide imagestransformer modelspretext taskhistological features
发现论文，激发创造
  • 自监督视觉 Transformer 在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • 用于多标记全切片组织病理学图像的补丁变换器

    提出了一种利用 Patch Transformer 来进行多标签预测的深度神经网络模型，可以从组织病理学切片图像中有效地预测多个幻灯片级标签，并通过大量实验证明了该模型的有效性。

    Jun, 2019

  • 一张 WSI 能够传达的信息有哪些？基于亚型引导的遮蔽变换器用于病理图像字幕生成

    通过使用基于 Transformer 的 Subtype-guided Masked Transformer (SGMT) 范式，我们在病理图像标注中引入一种伴随的亚型预测，以提高训练过程中的准确性，并通过采用不同的序列化抽样策略来处理病理图像标注的尺寸限制，实验结果表明，我们的方法在 PatchGastricADC22 数据集上的性能优于传统的基于 RNN 的方法，且我们的代码可供进一步的研究和开发。

    Oct, 2023

  • 使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

    通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。

    Dec, 2023

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024

  • 掩码注意力：提高视觉 Transformer 可解释性的机制

    通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

    Apr, 2024

  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 基于知识蒸馏的小样本组织学数据视觉 Transformer

    该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。

    May, 2023

  • 基于层次图像金字塔变换器的结肠活检和肠息肉组织病理图像分类基准评估

    在高分辨率组织病理学全幻灯片图像中，使用高质量的像素级标注训练神经网络是昂贵的。然而，最近自监督学习的进展表明，可以学习到高度描述性的图像表示，而无需标注。我们研究了最近的分层图像金字塔变换器（HIPT）模型在结直肠活检和息肉分类等特定任务中的应用。在评估 TCGA 学习的特征对原始 HIPT 模型的有效性后，我们使用两种不同策略将结肠活检图像信息纳入 HIPT 的预训练中：（1）从现有的 TCGA 权重微调 HIPT，以及（2）从随机权重初始化预训练 HIPT。我们比较了这些预训练方案在两个结直肠活检分类任务（二元分类和多类分类）上的性能。

    May, 2024

  • 领域特定预训练提高全切片图像分类的置信度

    该论文研究了域特定预训练模型对神经胶质母细胞瘤分类的影响和应用性，通过考虑目前最先进的多实例学习模型，CLAM 和 TransMIL，并评估模型的置信度和预测性能，表明域特定预训练有助于提高模型置信度并实现 WSI 基础的神经胶质母细胞瘤亚型分类的最新最佳性能。

    Feb, 2023