通过 Quilt-Instruct 数据集和 Quilt-LLaVA 模型，本研究提出了一种能够在全幅切片图像中进行诊断推理和空间感知的多模态组织病理学问答系统。该模型在多个公共组织病理数据集上表现出比 SOTA 模型高出超过 10% 的性能。

Dec, 2023

通过使用自动化流程和语义对齐筛选图像与文本对，我们的研究发现从 QUILT-1M 数据集中滤除常见杂质可显著提高文本到图像任务中的图像保真度。

Apr, 2024

提出了 MI-Zero 框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

Jun, 2023

CONCH 是一个基于多种来源的组织病理学图像、生物医学文本和 117 万图像标题对的视觉语言基础模型，可在涉及组织病理学图像和文本的各种下游任务中实现最先进的性能，为机器学习基于工作流程提供极少或无需进一步监督微调的可能性。

Jul, 2023

本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像 - 文本对和病理学中的领域特定知识。我们首次构建了包含 50,470 个有信息量的属性、涵盖 32 种人体组织下的 4,718 种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉 - 语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

Apr, 2024

本文介绍了一个新的数据集 “Kimia Path24”，该数据集可用于数字病理学中的图像分类和检索，并通过使用 24 种不同的组织纹理的全扫描图像生成了 1,325 个大小为 1000x1000 的测试补丁。通过 LBP，字典方法和卷积神经网络等方法进行了基准测试，结果表明卷积神经网络获得了最高的准确性，41.8％。

May, 2017

本研究介绍了 STimage-1K4M，这是一个包含基因表达信息的新型数据集，用于多模态数据分析和计算病理学等领域，为细胞病理学研究提供了前所未有的精细度。

Jun, 2024

基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

Jun, 2024

该研究使用大规模的有标签数据集训练深度学习模型结合 “多示例学习”，以在针生物镜下进行前列腺癌诊断，并获得了很高的 AUC，为计算病理学领域的决策支持系统部署提供了基础。

May, 2018

该研究提出了一种名为综合病理语言图像预训练（CPLIP）的无监督技术，用于增强组织病理学中图像和文本的对齐，以进行分类和分割等任务。CPLIP 通过利用大量数据而不需要地面真实注释，来丰富视觉 - 语言模型。通过构建特定于病理学的词典、使用语言模型为图像生成文本描述，并通过预训练模型检索每个文本片段的相关图像，再运用多对多对比学习方法对模型进行微调，以使复杂的相关概念在两种模态之间对齐。在多个组织病理学任务中进行评估，CPLIP 在零样本学习场景中显示出显著的改进，超越了现有方法在可解释性和鲁棒性方面，并在该领域中树立了更高的基准。为了鼓励进一步的研究和复制，CPLIP 的代码可在 GitHub 上获取。

Jun, 2024