Mar, 2024

层次化文本到图像的自我监督对齐，以提高组织病理学表示学习

HTML
PDF
TL;DR本文介绍一种新颖的基于语言相关的自监督学习框架，即Hierarchical Language-tied Self-Supervised (HLSS)方法，用于医学图像的层次化表示学习。通过结合领域特定的自然语言信息与图像的层次化视觉表示，该方法在医学图像任务中取得了最先进的性能，同时还提供了更好的可解释性。
发现论文，激发创造
  • 使用对比自监督学习学习组织病理学应用的表示

    本文研究了自监督学习在数字病理学中的应用，探讨了其在非物体中心数据集上的不同表现，提出了不同的视角生成和超参数调整方法，并通过大量实验分析证明了对组织分类下游任务有积极的影响。

    Dec, 2021

  • 视觉语言预训练多实例零样例迁移用于组织病理学图像

    提出了MI-Zero框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

    Jun, 2023

  • 计算病理学的视觉-语言基础模型探索

    CONCH是一个基于多种来源的组织病理学图像、生物医学文本和117万图像标题对的视觉语言基础模型，可在涉及组织病理学图像和文本的各种下游任务中实现最先进的性能，为机器学习基于工作流程提供极少或无需进一步监督微调的可能性。

    Jul, 2023

  • 组织病理学的领域特定优化和多样化自监督模型评估

    建立和评估组织病理学基础模型在自我监督学习中的价值，并发现领域特定方法可以进一步提高性能。

    Oct, 2023

  • HistGen: 通过局部-全局特征编码和跨模态上下文交互实现的组织病理报告生成

    通过本研究，我们首次引入HistGen，一个采用多实例学习的框架用于组织病理学报告生成，并提供了用于评估的基准数据集。该模型通过两个精心设计的模块来提高报告生成的效率，从而加强了临床效果。实验结果表明该模型在报告生成方面表现优于现有最先进模型，并且在癌症亚型和生存分析任务上的微调表明具有很强的迁移学习能力。

    Mar, 2024

  • 加强知识的视觉语言预训练在计算病理学中的应用

    本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像-文本对和病理学中的领域特定知识。我们首次构建了包含50,470个有信息量的属性、涵盖32种人体组织下的4,718种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉-语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

    Apr, 2024

  • PathAlign: 一种适用于组织病理学全切片图像的视觉-语言模型

    基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像-文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

    Jun, 2024

  • 基于文本的定量和可解释的组织病理图像分析

    通过将图像与文本进行对齐，利用预先训练的视觉语言模型对组织病理图像进行定量分析，并生成可理解的特征嵌入。通过应用于聚类和分类任务，证明了TQx能够与计算病理学中广泛使用的视觉模型相媲美地量化和分析病理图像。

    Jul, 2024

  • 提升视觉-语言模型在组织病理学分类中的表现：一次性预测

    本研究解决了当前组织病理学领域视觉-语言模型在逐块独立分类中的不足，提出了一种新的传导方法，通过结合文本预测和块间的亲和关系来提升模型性能。实验表明，该方法在四个数据集上大幅提高了分类准确度，且高效地处理了大量数据，展示了其在无标签条件下的强大潜力。

    Sep, 2024

  • MI-VisionShot：用于组织病理图像滑动级分类的视觉语言模型少量学习适应

    本研究解决了在组织病理学中，基于视觉语言模型（VLM）进行滑动级别分类时，零样本转移高变异性的问题。提出的MI-VisionShot方法结合了原型学习，利用VLM进行训练前适应，实现了在少量样本学习场景下的滑动级标签预测，实验结果表明其表现超过传统零样本转移，变异性更低，具有潜在的临床应用价值。

    Oct, 2024