CVPRJun, 2022

通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

PDF
TL;DR本文提出了一种新的 ViT 架构 (HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用 WSI 固有的分层结构进行分层预训练。通过在 33 种癌症类型上对 10,678 个 gigapixel WSI、408,218 个 4096x4096 图像和 104M 个 256x256 图像进行预训练，证明了 HIPT 在癌症亚型划分和生存预测方面优于当前最先进的方法。
发现论文，激发创造
  • 层次视觉 Transformer 用于全切片图像中上下文感知的前列腺癌分级

    该研究探讨了分层视觉 Transformer（H-ViTs）在计算病理学中的应用，评估其在整张切片图像中进行前列腺癌分级的效率，结果显示其与现有最先进解决方案具有竞争力的性能。

    Dec, 2023

  • HIGT：用于全幻灯片图像分析的分层交互图变换器

    本文提出了一种用于 WSI 分析的新型 Hierarchical Interaction Graph-Transformer（HIGT），通过学习 WSI 金字塔的局部和全局特征，并建立不同层次之间的双向交互，实现了肿瘤亚型和分期任务上的优于现有方法的性能。

    Sep, 2023

  • 基于层次图像金字塔变换器的结肠活检和肠息肉组织病理图像分类基准评估

    在高分辨率组织病理学全幻灯片图像中，使用高质量的像素级标注训练神经网络是昂贵的。然而，最近自监督学习的进展表明，可以学习到高度描述性的图像表示，而无需标注。我们研究了最近的分层图像金字塔变换器（HIPT）模型在结直肠活检和息肉分类等特定任务中的应用。在评估 TCGA 学习的特征对原始 HIPT 模型的有效性后，我们使用两种不同策略将结肠活检图像信息纳入 HIPT 的预训练中：（1）从现有的 TCGA 权重微调 HIPT，以及（2）从随机权重初始化预训练 HIPT。我们比较了这些预训练方案在两个结直肠活检分类任务（二元分类和多类分类）上的性能。

    May, 2024

  • 基于知识蒸馏的小样本组织学数据视觉 Transformer

    该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。

    May, 2023

  • HSViT：水平可扩展的视觉 Transformer

    这篇论文介绍了一种新型的水平可伸缩视觉转换器 (HSViT)，通过引入新的图像级特征嵌入和设计创新的水平可伸缩架构，以减少模型的层数和参数数量，并促进 ViT 模型在多个节点上的协同训练和推理，从而实现比现有方案高多达 10% 的 top-1 准确率，证明了其在保持归纳偏差方面的优越性。

    Apr, 2024

  • 多尺度高分辨率视觉 Transformer 用于语义分割

    HRViT 通过将高分辨率多支路结构与 Vision Transformers 相集成，探索异构分支设计，减少线性层中的冗余并增强注意力块的表现力，从而在 ADE20K 和 Cityscapes 数据集达到 50.20％和 83.16％的 mIoU 优化性能和效率，比现有的 MiT 和 CSWin 骨干框架平均提高 1.78 个 mIoU，参数节省 28％，FLOPs 减少 21％。

    Nov, 2021

  • HVTSurv: 基于整张切片图像的患者生存预测的分层视觉 Transformer 模型

    提出了一种名为 HVTSurv 的分层视觉 Transformer 框架，可对全切片图像进行预测和患者级别的癌症预测，并通过 3,104 名患者和 3,752 个全切片图像的验证实现了比以前的弱监督方法更高的平均 C 指数。

    Jun, 2023

  • 无监督互相转换器学习用于多千兆像素全切片图像分类

    提出一种基于相互 Transformer 学习的全无监督 WSI 分类算法，并在公开数据集上进行了广泛实验，证明了该方法在 WSI 分类和癌症亚型分类方面的优越性能。

    May, 2023

  • 自我监督学习全尺寸切片表示的框架

    自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。

    Feb, 2024

  • 自监督视觉 Transformer 在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022