CONCH 是一个基于多种来源的组织病理学图像、生物医学文本和 117 万图像标题对的视觉语言基础模型，可在涉及组织病理学图像和文本的各种下游任务中实现最先进的性能，为机器学习基于工作流程提供极少或无需进一步监督微调的可能性。

Jul, 2023

提出了 MI-Zero 框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

Jun, 2023

最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。

Oct, 2023

使用自监督学习方法，创建了 Virchow 计算病理学的 632 百万参数深度神经网络基础模型，以解决病理学任务中缺乏数据的挑战，并在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色，显示了预训练在病理学图像数据集上的重要性和潜力。

Sep, 2023

利用大规模全扫描图像数据集和多模型协作的方法，生成高质量的图像 - 文本对，为病理学领域的 Vision Language Models 进行训练和指导调优，从而显著提高其分析病理图像的能力，并为下一代通用病理模型铺平了道路。

Jun, 2024

基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

Jun, 2024

该研究提出了一种名为综合病理语言图像预训练（CPLIP）的无监督技术，用于增强组织病理学中图像和文本的对齐，以进行分类和分割等任务。CPLIP 通过利用大量数据而不需要地面真实注释，来丰富视觉 - 语言模型。通过构建特定于病理学的词典、使用语言模型为图像生成文本描述，并通过预训练模型检索每个文本片段的相关图像，再运用多对多对比学习方法对模型进行微调，以使复杂的相关概念在两种模态之间对齐。在多个组织病理学任务中进行评估，CPLIP 在零样本学习场景中显示出显著的改进，超越了现有方法在可解释性和鲁棒性方面，并在该领域中树立了更高的基准。为了鼓励进一步的研究和复制，CPLIP 的代码可在 GitHub 上获取。

Jun, 2024

本文介绍一种新颖的基于语言相关的自监督学习框架，即 Hierarchical Language-tied Self-Supervised (HLSS) 方法，用于医学图像的层次化表示学习。通过结合领域特定的自然语言信息与图像的层次化视觉表示，该方法在医学图像任务中取得了最先进的性能，同时还提供了更好的可解释性。

Mar, 2024

本研究提出了一种新的生成模型，通过逐步生长模型学习扩展视野，从而可用于组织分类和癌症患者诊断，实验结果表明，该模型表现优异，并与其他数字病理学常用的方法相比具有优势。

Sep, 2021

PathChat 是一种通用的、视觉 - 语言人工智能助理，经过预训练的视觉编码器与预先训练的大规模语言模型相结合，可用于病理学的教育、研究和临床决策。

Dec, 2023