CVPRFeb, 2024

通用整张切片图像分类与细粒度的视觉语义交互

PDF
TL;DR提出了一种新颖的 “细粒度的视觉 - 语义相互作用”（FiVE）框架，用于整个切片图像（WSI）的分类，通过利用局部视觉模式和细粒度病理学语义之间的相互作用，提高模型的普适性，并通过引入任务特定的细粒度语义（TFS）模块，增强表示学习和泛化能力，进一步采样训练中的视觉实例子集，表现出强大的泛化能力，在 TCGA 肺癌数据集上的少样本实验中，准确度至少比同类方法提高 9.19%。
whole slide image classificationvision-language modelsfine-grained visual-semantic interaction frameworkfine-grained pathological descriptionstask-specific fine-grained semantics module
发现论文，激发创造
  • 基于变分信息瓶颈的特定任务微调，用于弱监督病理全幻灯片图像分类

    该研究提出了一种利用信息瓶颈理论实现的高效 WSI 微调框架，通过微调主干来实现仅依赖于 WSI 级弱标签的任务特定表示，显著提高了准确性和泛化性。

    Mar, 2023

  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024

  • 基于弱监督学习的病理切片整体分类

    该研究提出了一种基于病理先验的多实例学习框架，通过数据增强方法和空间相关性分析，能够有效地用于癌症检测和亚型区分的医学图像分类任务。

    Jul, 2023

  • PathAlign: 一种适用于组织病理学全切片图像的视觉 - 语言模型

    基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

    Jun, 2024

  • 应用多示例学习和基于梯度的解释改进全切片成像辅助诊断工具的可解释性

    在医学领域，深度学习方法已得到广泛应用。而深度学习方法面临的下一个重要挑战是解释性，即如何解释模型的决策。本文针对整个切片图像分类的情境，提出了一种基于梯度法、特征可视化和多实例学习等方法的解释性方法，旨在解释如何基于瓦片级别的评分做出决策、如何决定这些瓦片得分以及用于任务的哪些功能是相关的。通过在 Camelyon-16 整个切片图像数据集上进行训练，突出区分性特征的学习，并通过病理学家的验证，我们提出了一种基于提取特征的新型计算解释性幻灯片级别热图的方法。此方法的实验结果显示，该方法可以提高 AUC 的瓦片级分类性能达 29% 以上

    Sep, 2020

  • 无监督互相转换器学习用于多千兆像素全切片图像分类

    提出一种基于相互 Transformer 学习的全无监督 WSI 分类算法，并在公开数据集上进行了广泛实验，证明了该方法在 WSI 分类和癌症亚型分类方面的优越性能。

    May, 2023

  • 自我监督学习全尺寸切片表示的框架

    自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。

    Feb, 2024

  • 自监督对比学习的双流多示例学习网络用于全切片图像分类

    本论文提出了一种基于 MIL 的方法，用于全幻灯片图像（WSI）分类和肿瘤检测，无需局部注释，并提出了自我监督对比学习及金字塔融合机制，从而提高分类和定位的准确性。

    Nov, 2020

  • 可训练原型增强的多示例学习用于全切片图像分类

    该研究论文提出了一种基于原型学习和多实例学习的 Trainable Prototype enhanced deep MIL (TPMIL) 框架，用于弱监督下的 WSI 分类，其不需要依赖于选定的图像补丁，能够更准确地识别肿瘤亚型。

    May, 2023

  • 基于扩散的千兆像素尺度组织病理全切片图像生成

    用新的扩散性方法生成合成的病理全层切片图像，可以增强计算病理学应用的性能，并且无需数据注释即可学习全层切片图像的表征。

    Nov, 2023