KDDMay, 2023

基于知识蒸馏的小样本组织学数据视觉 Transformer

PDF
TL;DR该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。
computational pathologywhole slide imagesdeep learningvision transformersartifact detection
发现论文，激发创造
  • 为计算病理学系统配备工件处理管线：计算和性能权衡的展示

    提出一种混合专家方案，用于从全玻片图像中检测五个显著的伪迹，其中包括受损组织、模糊、折叠组织、气泡和组织学上无关的血液，以提高计算病理学系统的可靠自动化诊断。

    Mar, 2024

  • 层次视觉 Transformer 用于全切片图像中上下文感知的前列腺癌分级

    该研究探讨了分层视觉 Transformer（H-ViTs）在计算病理学中的应用，评估其在整张切片图像中进行前列腺癌分级的效率，结果显示其与现有最先进解决方案具有竞争力的性能。

    Dec, 2023

  • 自监督视觉 Transformer 在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • 通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

    本文提出了一种新的 ViT 架构 (HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用 WSI 固有的分层结构进行分层预训练。通过在 33 种癌症类型上对 10,678 个 gigapixel WSI、408,218 个 4096x4096 图像和 104M 个 256x256 图像进行预训练，证明了 HIPT 在癌症亚型划分和生存预测方面优于当前最先进的方法。

    Jun, 2022

  • 数字病理学中无旋转偏见的图像表示学习

    本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。

    Nov, 2023

  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 使用 Masked Pre-Training 的 Transformer 进行组织学图像分析

    该论文提出了一种名为 MaskHIT 的模型，它使用预训练的 transformer 模型来重建被遮盖的 WSI 区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。

    Apr, 2023

  • 使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

    通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。

    Dec, 2023

  • Vim4Path: 自监督视觉玛巴用于组织病理学图像

    基于 Vision Mamba 架构的图像表示学习在计算病理学中显示出显著的性能优势，并具有相对于 Vision Transformers 更好的实用性和模拟病理学家工作流程的能力。

    Apr, 2024

  • 数字病理学中的鲁棒图表学习

    本文提出了一种新颖的鲁棒学习方法来解决整张切片图像（WSIs）中的扰动问题，并通过引入图卷积网络（GCN）从图中提取特征，包括去噪和分类层，以改善前列腺癌的诊断准确率。实验结果表明，与非鲁棒算法相比，该模型在癌症诊断方面取得了显著的改善。

    Oct, 2023