本篇研究介绍了一种后处理解释器，可以从图形中提取关键诊断实体，从而进行细胞和细胞间的分类。该解释器具有广泛的应用前景，与数字病理的拓扑表示法相结合，可以产生更全面的解释性结果。

Jul, 2020

采用离散建模技术应用于非黑素瘤皮肤癌问题，通过实现 VQ-GAN 模型重建高分辨率 IEC 图像并训练序列转换器以生成自然语言描述，提供了理解疾病的另一个角度。

Jul, 2022

CONCH是一个基于多种来源的组织病理学图像、生物医学文本和117万图像标题对的视觉语言基础模型，可在涉及组织病理学图像和文本的各种下游任务中实现最先进的性能，为机器学习基于工作流程提供极少或无需进一步监督微调的可能性。

Jul, 2023

利用联接图像和文本嵌入（CITE）方法改进病理图像分类，通过注入来自在广泛的生物医学文本中预训练的语言模型所获取的文本见解，使基础模型适应病理图像理解，并在PatchGastric胃肿瘤病理图像数据集上取得了领先的性能。

Jul, 2023

为了提高对Whole Slide Image（WSI）分析中多实例学习（MIL）方法的解释性和推理能力，我们提出了一种自解释的MIL方法（SI-MIL），它通过深度MIL框架引导一个基于手工制作的病理特征的可解释分支，从而实现线性预测，并在三种癌症类型的WSI级别预测任务上展示了与先进方法相媲美的结果。

Dec, 2023

本研究评估了具有上下文学习能力的模型Generative Pretrained Transformer 4 with Vision (GPT-4V)在癌症图像处理中的应用，结果显示在组织亚型分类、结肠息肉亚型分类和淋巴结切片中的乳腺肿瘤检测等三项癌症组织病理学任务中，使用上下文学习可以达到或超过针对特定任务训练的神经网络的性能，且只需使用较少的样本。总结起来，本研究表明，在病理学中，基于非领域特定数据训练的大型视觉语言模型可以直接应用于解决医学图像处理任务，这使得非技术背景的医学专家在样本稀缺的领域中能够使用通用的人工智能模型。

Mar, 2024

通过咨询大型语言模型和医学专家，我们提出了一种新颖的VLP框架，将疾病描述分解为基本要素，利用对病理学可视表现的先前知识。通过整合Transformer模块，我们的方法将输入图像与疾病的多个要素进行对齐，生成以要素为中心的图像表示。通过整合每个要素的匹配，我们改善了图像与其相关疾病之间的兼容性。此外，我们还提出了一个面向要素的双头Transformer，用于处理已知和未知疾病，以优化综合检测效果。在七个数据集上进行实验证明，我们的方法在已见类别和新颖类别的AUC得分上分别超过最近的方法8.07%和11.23%。

Mar, 2024

为解决基于预训练的病理基础模型到下游任务的适应性问题，提出了PathoTune，一种通过多模态提示调整将病理学或甚至视觉基础模型高效适应病理学任务的框架。在多个数据集的补丁级和WSI级别上，结果表明它的性能优于单模态提示调整方法，并且较简单的线性探测下成效更好。

Mar, 2024

本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像-文本对和病理学中的领域特定知识。我们首次构建了包含50,470个有信息量的属性、涵盖32种人体组织下的4,718种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉-语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

Apr, 2024

本研究解决了现有病理图像理解模型缺乏领域专用性的难题，提出了一种专为病理图像理解开发的大型语言-视觉助手PA-LLaVA。通过构建清洗过的病理图像-文本数据集并采用两阶段学习方法，研究发现PA-LLaVA在多模态模型中表现出最佳性能，具有推动计算病理学研究的潜力。

Aug, 2024