Jun, 2024

PathAlign: 一种适用于组织病理学全切片图像的视觉 - 语言模型

PDF
TL;DR基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。
发现论文，激发创造
  • MI-Gen：用于千兆像素全切片图像的病理报告多示例生成

    使用全幻灯片图像生成病理报告的多示例生成模型 (MI-Gen) 可减轻经验不足的病理医生的工作负担并提高临床自动化，同时简单的语义提取可以实现最佳性能且公开可用。

    Nov, 2023

  • PathGen-1.6M: 160 万病理图像 - 文本对的多机器人协作生成

    利用大规模全扫描图像数据集和多模型协作的方法，生成高质量的图像 - 文本对，为病理学领域的 Vision Language Models 进行训练和指导调优，从而显著提高其分析病理图像的能力，并为下一代通用病理模型铺平了道路。

    Jun, 2024

  • PathM3: 一个用于全幻灯片图像分类和字幕生成的多模式多任务多实例学习框架

    通过多模态多任务多实例学习的 PathM3 框架，有效地将组织切片图像与诊断说明对齐，从而在组织病理学图像分类和生成诊断说明任务上提高了分类准确性和生成效果。

    Mar, 2024

  • 通用整张切片图像分类与细粒度的视觉语义交互

    提出了一种新颖的 “细粒度的视觉 - 语义相互作用”（FiVE）框架，用于整个切片图像（WSI）的分类，通过利用局部视觉模式和细粒度病理学语义之间的相互作用，提高模型的普适性，并通过引入任务特定的细粒度语义（TFS）模块，增强表示学习和泛化能力，进一步采样训练中的视觉实例子集，表现出强大的泛化能力，在 TCGA 肺癌数据集上的少样本实验中，准确度至少比同类方法提高 9.19%。

    Feb, 2024

  • 自我监督学习全尺寸切片表示的框架

    自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。

    Feb, 2024

  • 层次化文本到图像的自我监督对齐，以提高组织病理学表示学习

    本文介绍一种新颖的基于语言相关的自监督学习框架，即 Hierarchical Language-tied Self-Supervised (HLSS) 方法，用于医学图像的层次化表示学习。通过结合领域特定的自然语言信息与图像的层次化视觉表示，该方法在医学图像任务中取得了最先进的性能，同时还提供了更好的可解释性。

    Mar, 2024

  • 加强知识的视觉语言预训练在计算病理学中的应用

    本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像 - 文本对和病理学中的领域特定知识。我们首次构建了包含 50,470 个有信息量的属性、涵盖 32 种人体组织下的 4,718 种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉 - 语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

    Apr, 2024

  • 基于扩散的千兆像素尺度组织病理全切片图像生成

    用新的扩散性方法生成合成的病理全层切片图像，可以增强计算病理学应用的性能，并且无需数据注释即可学习全层切片图像的表征。

    Nov, 2023

  • 使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

    通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。

    Dec, 2023

  • 全切片影像上数据有效和弱监督计算病理学

    CLAM 是一种易于使用、高吞吐量和可解释的基于深度学习的弱监督学习方法，它可以在只需要幻灯片级别标签的情况下处理大规模组织切片图像，并且可以用于多种不同的计算病理学任务。

    Apr, 2020