本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像 - 文本对和病理学中的领域特定知识。我们首次构建了包含 50,470 个有信息量的属性、涵盖 32 种人体组织下的 4,718 种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉 - 语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

Apr, 2024

使用自监督学习方法，创建了 Virchow 计算病理学的 632 百万参数深度神经网络基础模型，以解决病理学任务中缺乏数据的挑战，并在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色，显示了预训练在病理学图像数据集上的重要性和潜力。

Sep, 2023

该论文提出了一种基于图卷积网络和注意机制的方法，将组织学检查作为细胞核图的形式来进行深度学习，达到疾病诊断的可解释性。

Jun, 2020

PathChat 是一种通用的、视觉 - 语言人工智能助理，经过预训练的视觉编码器与预先训练的大规模语言模型相结合，可用于病理学的教育、研究和临床决策。

Dec, 2023

通过半自动化数据整理和引入病理学领域知识，我们扩展了数字病理学全幻灯片图像的基础模型的最新技术。我们的模型在公共和内部基准测试中表现良好，尽管使用的幻灯片数量比竞争模型少一个数量级。我们预计在更多数据和更大的模型规模下，我们的方法将进一步提高性能，并能够处理日益复杂的诊断和生物医学研究中的实际问题。

Jan, 2024

提出了 MI-Zero 框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

Jun, 2023

该研究提出了一种适用于医学图像的注释免费病理定位 (AFLoc) 的通用视觉语言预训练模型，通过多层语义结构对齐医学报告中的多粒度医学概念与丰富图像特征，以适应观察到的和新出现的不同病理表达方式，验证了其在复杂临床环境中的适用性。

Jan, 2024

该研究提出了一种名为综合病理语言图像预训练（CPLIP）的无监督技术，用于增强组织病理学中图像和文本的对齐，以进行分类和分割等任务。CPLIP 通过利用大量数据而不需要地面真实注释，来丰富视觉 - 语言模型。通过构建特定于病理学的词典、使用语言模型为图像生成文本描述，并通过预训练模型检索每个文本片段的相关图像，再运用多对多对比学习方法对模型进行微调，以使复杂的相关概念在两种模态之间对齐。在多个组织病理学任务中进行评估，CPLIP 在零样本学习场景中显示出显著的改进，超越了现有方法在可解释性和鲁棒性方面，并在该领域中树立了更高的基准。为了鼓励进一步的研究和复制，CPLIP 的代码可在 GitHub 上获取。

Jun, 2024

通过比对 NLP 模型与 CNN 模型预测九种大肠癌生物标志物的结果，本研究表明 NLP 模型在数字病理领域的优越性，并证明相比大数据集，较小数据集下 NLP 模型得到的预测结果不比大数据集下的数字病理模型差。因此，NLP 模型已经可以成为数字病理领域的新基础模型。

Feb, 2023

最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。

Oct, 2023