Mar, 2024

层次化文本到图像的自我监督对齐，以提高组织病理学表示学习

PDF
TL;DR本文介绍一种新颖的基于语言相关的自监督学习框架，即 Hierarchical Language-tied Self-Supervised (HLSS) 方法，用于医学图像的层次化表示学习。通过结合领域特定的自然语言信息与图像的层次化视觉表示，该方法在医学图像任务中取得了最先进的性能，同时还提供了更好的可解释性。
self-supervised representation learninghistopathology image analysislanguage-tied self-supervisionmedical image tasksinterpretability
发现论文，激发创造
  • 自监督一致性训练用于高效组织病理图像分析

    利用基于多分辨率背景下组织病理全切片图像的潜在上下文线索的自我监督预训练任务，以及新型的师生半监督一致性模式，使用任务无关和任务特定无标签数据来学习强大的监督信号进行无监督表征学习，并在有限标签数据下表现出与其他现有最先进方案相近乃至优越的性能。

    Feb, 2021

  • 层次判别学习提高生物医学显微镜的视觉表达

    本文提出了一种名为 HiDisc 的自我监督对比学习框架，用于学习临床生物医学显微镜图像中肿瘤的高质量视觉表示，结果表明 HiDisc 预训练方法在癌症诊断和基因突变预测方面优于当前最先进的自我监督预训练方法，并且使用自然数据多样性学习高质量的视觉表达。

    Mar, 2023

  • 数字病理学的自监督对比学习

    本文介绍一种使用 SimCLR 方法进行自监督学习的无监督学习方法，该方法在数字病理学数据集上的预训练在多项下游任务中优于在 ImageNet 上预训练的网络，F1 平均分提高了 28% 以上。

    Nov, 2020

  • 使用对比自监督学习学习组织病理学应用的表示

    本文研究了自监督学习在数字病理学中的应用，探讨了其在非物体中心数据集上的不同表现，提出了不同的视角生成和超参数调整方法，并通过大量实验分析证明了对组织分类下游任务有积极的影响。

    Dec, 2021

  • 自路径：有限标注病理图像分类的自监督学习

    本文提出了一种自我监督的深度学习算法，采用 CNN 实现对病理图像的多任务分类，并结合具有内在标签的预处理任务来实现半监督学习和领域自适应。实验结果表明该算法在病理学图像分类任务中具有较高的性能表现，并能够适用于其他计算病理学应用领域中。

    Aug, 2020

  • PathAlign: 一种适用于组织病理学全切片图像的视觉 - 语言模型

    基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

    Jun, 2024

  • 自我监督学习全尺寸切片表示的框架

    自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。

    Feb, 2024

  • 医学图像分割密集层级表示的自监督学习

    通过自监督框架学习适用于密集下游任务的体素级粗细粒度表示，通过平衡多尺度特征的贡献，确保学习到的表示捕捉到粗粒度和细粒度的细节，并在有限的注释数据下持续优于基准模型。

    Jan, 2024

  • 加强知识的视觉语言预训练在计算病理学中的应用

    本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像 - 文本对和病理学中的领域特定知识。我们首次构建了包含 50,470 个有信息量的属性、涵盖 32 种人体组织下的 4,718 种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉 - 语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

    Apr, 2024

  • 基于核心感知的自监督预训练：使用图像对图像转换技术的非配对组织病理学图像

    提出一种新颖的基于细胞核感知的自监督预训练框架，通过组织病理图像与伪掩膜图像之间的无配对图像转换来捕获细胞核形态和分布信息，并采用条件和随机样式表示来调节生成过程，以实现预训练图像的真实性和多样性；同时，采用实例分割引导策略来捕获实例级信息。实验结果表明，该预训练方法在 Kather 分类、多实例学习和 5 个密集预测任务上优于有监督方法，并且在 8 个半监督任务上比其他自监督方法取得了更好的结果。

    Sep, 2023