Mar, 2022

自监督视觉 Transformer 在组织病理学中学习视觉概念

PDF
TL;DR本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。
tissue phenotypingwsimorphological featuresvision transformersknowledge distillation
发现论文，激发创造
  • 一种面向计算病理学的通用自监督模型

    使用超过 100 万个组织样本预训练的自我监督模型 UNI，在计算病理学中取得了巨大的突破，具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力，为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。

    Aug, 2023

  • 使用 Masked Pre-Training 的 Transformer 进行组织学图像分析

    该论文提出了一种名为 MaskHIT 的模型，它使用预训练的 transformer 模型来重建被遮盖的 WSI 区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。

    Apr, 2023

  • 数字病理学中无旋转偏见的图像表示学习

    本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。

    Nov, 2023

  • 自监督视觉 Transformer 是可扩展的领域泛化生成模型

    我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化，通过使用一种生成的自监督视觉转换器从图像片段中提取特征，并将它们无缝地融合到原始图像中，从而创建具有不同属性的新颖的合成图像，丰富数据集，从而提高深度学习模型在未见领域中的泛化能力。

    Jul, 2024

  • 自监督一致性训练用于高效组织病理图像分析

    利用基于多分辨率背景下组织病理全切片图像的潜在上下文线索的自我监督预训练任务，以及新型的师生半监督一致性模式，使用任务无关和任务特定无标签数据来学习强大的监督信号进行无监督表征学习，并在有限标签数据下表现出与其他现有最先进方案相近乃至优越的性能。

    Feb, 2021

  • 基于知识蒸馏的小样本组织学数据视觉 Transformer

    该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。

    May, 2023

  • 数字病理学自监督相似度学习

    提出了一种适用于数字病理学领域的自监督方法，利用同构网络从全切片图像中提取特征来创建稳健和紧凑的图像描述符，其由长度为 128 的特征向量生成，并结合实验结果表明，相比于现有的 ImageNet 和通用的自监督特征提取方法，该方法在图像检索方面具有更好的表现。

    May, 2019

  • 自我监督学习全尺寸切片表示的框架

    自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。

    Feb, 2024

  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

    通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。

    Dec, 2023