Dec, 2023

使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

PDF
TL;DR通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。
deep learninghistopathologyreport generationimage classificationgender classification
发现论文，激发创造
  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 自监督视觉 Transformer 在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • 使用 Masked Pre-Training 的 Transformer 进行组织学图像分析

    该论文提出了一种名为 MaskHIT 的模型，它使用预训练的 transformer 模型来重建被遮盖的 WSI 区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。

    Apr, 2023

  • HistGen: 通过局部 - 全局特征编码和跨模态上下文交互实现的组织病理报告生成

    通过本研究，我们首次引入 HistGen，一个采用多实例学习的框架用于组织病理学报告生成，并提供了用于评估的基准数据集。该模型通过两个精心设计的模块来提高报告生成的效率，从而加强了临床效果。实验结果表明该模型在报告生成方面表现优于现有最先进模型，并且在癌症亚型和生存分析任务上的微调表明具有很强的迁移学习能力。

    Mar, 2024

  • PathologyBERT -- 面向病理领域的预训练与新 Transformer 语言模型比较研究

    介绍了 PathologyBERT - 一个采用 347,173 个组织病理学报告进行预训练的蒙面语言模型，以支持病理学领域的文本挖掘，并与其他模型进行了性能比较，以提高肿瘤识别和自然语言理解等方面的性能。

    May, 2022

  • PathAlign: 一种适用于组织病理学全切片图像的视觉 - 语言模型

    基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

    Jun, 2024

  • 利用迁移学习自动分类组织病理学图像

    利用 DenseNet-161 和 ResNet-50 预训练 CNN 模型，通过迁移学习的方法对数字组织病理学补丁进行分类，实验结果表明，这种方法可以自动检测和分类疾病，并在分类效果方面表现出色。

    Mar, 2019

  • 用于多标记全切片组织病理学图像的补丁变换器

    提出了一种利用 Patch Transformer 来进行多标签预测的深度神经网络模型，可以从组织病理学切片图像中有效地预测多个幻灯片级标签，并通过大量实验证明了该模型的有效性。

    Jun, 2019

  • 应用层次视觉变换器和多实例学习预测组织病理学中的卵巢癌治疗反应

    评估了深度学习方法在预测卵巢癌治疗效果方面的效力，发现使用预训练的图像金字塔转换模型提取区域级特征，再用基于注意力的多实例学习模型进行整合和分类，能够部分预测抗血管生成药物 bevacizumab 在卵巢癌患者中的治疗效果，但受数据集限制和异质性的影响，准确性还需要更大、更高质量的数据集进一步验证。

    Oct, 2023

  • 基于知识蒸馏的小样本组织学数据视觉 Transformer

    该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。

    May, 2023