Jul, 2023

一个分层 Transformer 编码器提高肝细胞癌全幻灯片图像的整个肿瘤分割

PDF
TL;DR本文提出了一种具有层次 Transformer 编码器的先进深度学习体系结构 HiTrans，用于全数字肝细胞癌（HCC）WSI 图像的新生物分割，它可以编码和解码更大的感受野的补丁，并学习全局依赖关系，从而实现比现有技术更好的分割性能。
digital histopathologyneoplasm segmentationhepatocellular carcinomadeep learningglobal dependencies
发现论文，激发创造
  • 层次视觉 Transformer 用于全切片图像中上下文感知的前列腺癌分级

    该研究探讨了分层视觉 Transformer（H-ViTs）在计算病理学中的应用，评估其在整张切片图像中进行前列腺癌分级的效率，结果显示其与现有最先进解决方案具有竞争力的性能。

    Dec, 2023

  • 基于层次图像金字塔变换器的结肠活检和肠息肉组织病理图像分类基准评估

    在高分辨率组织病理学全幻灯片图像中，使用高质量的像素级标注训练神经网络是昂贵的。然而，最近自监督学习的进展表明，可以学习到高度描述性的图像表示，而无需标注。我们研究了最近的分层图像金字塔变换器（HIPT）模型在结直肠活检和息肉分类等特定任务中的应用。在评估 TCGA 学习的特征对原始 HIPT 模型的有效性后，我们使用两种不同策略将结肠活检图像信息纳入 HIPT 的预训练中：（1）从现有的 TCGA 权重微调 HIPT，以及（2）从随机权重初始化预训练 HIPT。我们比较了这些预训练方案在两个结直肠活检分类任务（二元分类和多类分类）上的性能。

    May, 2024

  • 用于多标记全切片组织病理学图像的补丁变换器

    提出了一种利用 Patch Transformer 来进行多标签预测的深度神经网络模型，可以从组织病理学切片图像中有效地预测多个幻灯片级标签，并通过大量实验证明了该模型的有效性。

    Jun, 2019

  • 利用语义分割的多阶段病理图像分类

    本论文提出了一种新的模型结构，将基于补丁的分类模型和整个切片比例的分割模型相结合，以提高自动病理诊断的预测性能，并通过优化方法，使模型部分地进行端到端学习，应用于 WSI 的肿瘤 / 正常预测，与传统基于补丁的方法相比，分类的性能得到了提高。

    Oct, 2019

  • HIGT：用于全幻灯片图像分析的分层交互图变换器

    本文提出了一种用于 WSI 分析的新型 Hierarchical Interaction Graph-Transformer（HIGT），通过学习 WSI 金字塔的局部和全局特征，并建立不同层次之间的双向交互，实现了肿瘤亚型和分期任务上的优于现有方法的性能。

    Sep, 2023

  • 通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

    本文提出了一种新的 ViT 架构 (HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用 WSI 固有的分层结构进行分层预训练。通过在 33 种癌症类型上对 10,678 个 gigapixel WSI、408,218 个 4096x4096 图像和 104M 个 256x256 图像进行预训练，证明了 HIPT 在癌症亚型划分和生存预测方面优于当前最先进的方法。

    Jun, 2022

  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 使用 Masked Pre-Training 的 Transformer 进行组织学图像分析

    该论文提出了一种名为 MaskHIT 的模型，它使用预训练的 transformer 模型来重建被遮盖的 WSI 区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。

    Apr, 2023

  • 如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

    提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

    Jan, 2023

  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024